[논문 리뷰] Learning To Simulate

Nataniel Ruiz, Samuel Schulter외 1명|arXiv (Cornell University)|2018. 10. 05.

Machine Learning and Data Classification참고 문헌 26인용 수 12

한 줄 요약

이 논문은 강화학습 기반 방법인 '학습을 통해 시뮬레이션하기(Learning to Simulate)'를 제안하며, 하류 기계학습 모델의 정확도를 극대화하는 데 최적화된 시뮬레이터 파라미터를 자동으로 최적화하여 합성 데이터를 생성한다. 데이터 생성을 메타최적화 문제로 재정의함으로써, 랜덤 또는 인간이 설계한 파라미터보다 우수한 성능을 기록하며, KITTI 차량 세그멘테이션에서 57.9%의 mIoU를 달성하여 일부 경우에서 실제 데이터 학습을 뛰어넘는다.

ABSTRACT

Simulation is a useful tool in situations where training data for machine learning models is costly to annotate or even hard to acquire. In this work, we propose a reinforcement learning-based method for automatically adjusting the parameters of any (non-differentiable) simulator, thereby controlling the distribution of synthesized data in order to maximize the accuracy of a model trained on that data. In contrast to prior art that hand-crafts these simulation parameters or adjusts only parts of the available parameters, our approach fully controls the simulator with the actual underlying goal of maximizing accuracy, rather than mimicking the real data distribution or randomly generating a large volume of data. We find that our approach (i) quickly converges to the optimal simulation parameters in controlled experiments and (ii) can indeed discover good sets of parameters for an image rendering simulator in actual computer vision applications.

연구 동기 및 목표

• 기계학습에서 높은 비용이 드는 데이터 주석 작업의 과제를 해결하기 위해 시뮬레이션을 확장 가능한 대안으로 활용한다.
• 수작업으로 설정하거나 무작위로 샘플링한 시뮬레이터 파라미터에 의존하는 기존 방법의 한계를 극복한다.
• 시뮬레이터 파라미터를 최적화하여 하류 모델 성능을 극대화하는 방식으로 데이터 생성을 메타학습 문제로 재구성한다.
• 실제 데이터 분포를 모방하는 것이 학습에 최적인지, 아니면 다른 분포가 더 높은 모델 정확도를 제공하는지 조사한다.
• 대규모, 다양한, 주석이 달린 실제 데이터에 대한 의존도를 줄이는 효율적이고 타겟된 데이터 합성 기법을 가능하게 한다.

제안 방법

• 상위 수준의 정책이 검증 데이터에서의 모델 손실을 최소화하도록 시뮬레이터 파라미터 ψ를 학습하는 이중 최적화 문제로 문제를 재구성한다.
• Williams(1992)의 정책 기반 강화학습 방법을 사용하여 상위 수준 목표를 최적화함으로써, 미분 가능하지 않은 시뮬레이터가 존재하더라도 엔드 투 엔드 학습이 가능하도록 한다.
• 정책의 출력 ψ를 시뮬레이터의 입력 공간으로 매핑하는 블랙박스 인터페이스를 설계하여 임의의 시뮬레이터와의 상호작용을 가능하게 한다.
• 각 ψ에 기반한 합성 데이터로 주요 작업 모델(MTM)을 학습하고, 검증 세트 성능을 보상 신호로 사용한다.
• 정책 기반 강화학습 알고리즘을 적용하여 검증 정확도가 높아지는 방향으로 ψ를 갱신함으로써 최적의 파라미터를 자동으로 탐색한다.
• 검증 데이터에 대해 훈련된 모델의 성능에 기반해 시뮬레이터 파라미터를 조정하는 메타학습자 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 인간이 설계하거나 랜덤으로 선택한 파라미터보다 더 높은 모델 정확도를 이끌어내는 시뮬레이터 파라미터를 자동으로 발견할 수 있는가?
• RQ2 모델 학습에 최적의 데이터 분포는 실제 데이터 분포와 동일한가, 아니면 다른 합성 분포가 더 높은 성능을 낼 수 있는가?
• RQ3 제어된 환경과 실제 환경에서 제안된 방법이 높은 성능을 보이는 시뮬레이션 파라미터로 수렴하는 데 얼마나 빠른가?
• RQ4 학습을 통해 시뮬레이션하는 방식으로 타겟된 데이터 생성이 무작위 또는 포괄적 탐색에 비해 데이터 생성 효율성과 모델 정확도 측면에서 뛰어나지 않는가?
• RQ5 시뮬레이터와 실제 데이터 간 도메인 갭이 존재하더라도, 이 방법이 KITTI와 같은 실제 컴퓨터 비전 벤치마크에 일반화 가능한가?

주요 결과

• 제안된 '학습을 통해 시뮬레이션'(LTS) 방법은 무작위 파라미터로 생성된 데이터로 학습하는 것보다 우수하며, KITTI 테스트 세트에서 차량 세그멘테이션 작업에서 57.9%의 mIoU를 달성한다.
• LTS는 실제 KITTI 훈련 이미지 982장을 사용해 학습한 모델(77.8% mIoU 달성)의 성능을 뛰어넘어, 적절히 최적화된 경우 합성 데이터가 실제 데이터보다 더 효과적일 수 있음을 시사한다.
• 실제 검증 세트 파라미터로 생성된 데이터로 학습한 모델보다도 LTS가 더 높은 검증 및 테스트 성능을 기록함으로써, 이러한 파라미터가 최적은 아님을 입증한다.
• LTS는 수렴 속도와 최종 성능 모두에서 랜덤 서치를 능가하여, 브루트 포스 샘플링 대비 학습 기반 파라미터 탐색의 우수성을 입증한다.
• 이 방법은 토이 실험과 실제 세계의 세그멘테이션 작업 모두에서 고품질의 시뮬레이션 파라미터를 성공적으로 발견하여 실용적 유용성을 확인한다.
• 이 방법은 비미분 가능 시뮬레이터와 블랙박스 시뮬레이터 모두에서 잘 작동하여 컴퓨터 비전 및 로봇 분야에서 넓은 적용 가능성을 보여준다.