[論文レビュー] Learning To Simulate

Nataniel Ruiz, Samuel Schulter+1 more|arXiv (Cornell University)|Oct 5, 2018

Machine Learning and Data Classification参考文献 26被引用数 12

ひとこと要約

本論文では、下流の機械学習モデルの精度を最大化するように合成データを生成するためのシミュレータパラメータを自動最適化する強化学習ベースの手法「Learning to Simulate」を提案する。データ生成をメタ最適化問題として定式化することで、ランダムまたは人為的に設計されたパラメータよりも優れた性能を示し、KITTI車両セグメンテーションタスクにおいて57.9%のmIoUを達成した。これは一部のケースで実データを用いた学習をも上回る結果である。

ABSTRACT

Simulation is a useful tool in situations where training data for machine learning models is costly to annotate or even hard to acquire. In this work, we propose a reinforcement learning-based method for automatically adjusting the parameters of any (non-differentiable) simulator, thereby controlling the distribution of synthesized data in order to maximize the accuracy of a model trained on that data. In contrast to prior art that hand-crafts these simulation parameters or adjusts only parts of the available parameters, our approach fully controls the simulator with the actual underlying goal of maximizing accuracy, rather than mimicking the real data distribution or randomly generating a large volume of data. We find that our approach (i) quickly converges to the optimal simulation parameters in controlled experiments and (ii) can indeed discover good sets of parameters for an image rendering simulator in actual computer vision applications.

研究の動機と目的

• 機械学習における高コストなデータアノテーションの課題に対処するため、スケーラブルな代替手段としてシミュレーションを活用すること。
• 手作業で設計されたまたはランダムに抽出されたシミュレータパラメータに依存する従来手法の制限を克服すること。
• シミュレータパラメータを最適化して下流モデルの性能を最大化するというメタラーニング問題としてデータ生成を定式化すること。
• 実データの分布を模倣することが最適なトレーニングのための分布であるかどうか、あるいは他の分布がより高いモデル精度をもたらすかどうかを調査すること。
• 大規模かつ多様な、あるいはアノテーション済みの実データに依存しない、効率的でターゲットに特化したデータ合成を可能にすること。

提案手法

• 上位最適化問題として問題を定式化：上位のポリシーが検証データにおけるモデル損失を最小化するようにシミュレータパラメータψを学習する。
• ポリシー勾配法（Williams, 1992）を用いて上位の目的関数を最適化し、微分可能でないシミュレータであってもエンドツーエンドの学習を可能にする。
• ポリシーの出力ψをシミュレータの入力空間にマッピングするブラックボックスインターフェースを設計し、任意のシミュレータとの相互作用を可能にする。
• 各ψのもとで生成された合成データを用いてメインタスクモデル（MTM）を学習し、検証セットの性能を報酬信号として用いる。
• ポリシー勾配アルゴリズムを適用して、検証精度が向上する方向にψを更新することで、最適パラメータの自動発見を可能にする。
• シミュレータパラメータを、ホールドアウトデータ上で訓練されたモデルの性能に基づいて調整するメタラーナーのフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 人為的またはランダムに抽出されたパラメータよりも、より高いモデル精度をもたらすシミュレータパラメータを自動で発見できるか？
• RQ2 モデルのトレーニングに最適なデータ分布は実データの分布そのものか、それとも他の合成分布の方が優れた性能をもたらすか？
• RQ3 制御された環境および実世界の設定において、提案手法は高い性能を持つシミュレーションパラメータにどの程度の速さで収束するか？
• RQ4 学習に基づくパラメータ探索は、ランダム探索や網羅的探索に比べて、データ生成の効率性およびモデル精度で優位性を示すか？
• RQ5 シミュレータと実データのドメインギャップが存在する場合でも、KITTIなどの実世界のコンピュータビジョンベンチマークに一般化可能か？

主な発見

• 提案手法「Learning to Simulate」（LTS）は、ランダムパラメータを用いて生成されたデータで学習した場合を上回り、KITTIテストセットにおける車両セグメンテーションで57.9%のmIoUを達成した。
• LTSは、982枚の実KITTIトレーニング画像で学習したモデル（77.8%のmIoUを達成）の性能をも上回った。これは、適切に最適化された場合、合成データが実データを上回る有効性を示している。
• 実際の検証セットパラメータで生成されたデータで学習したモデルよりも、LTSは検証およびテスト性能が優れており、これらのパラメータが最適でないことを示している。
• LTSは収束速度および最終的な性能の両面でランダムサーチを上回り、ブルートフォースサンプリングに比べて学習ベースのパラメータ探索の優位性を示している。
• 本手法はトロイ実験および実世界のセマンティックセグメンテーションタスクの両方で、高品質なシミュレーションパラメータを効果的に発見でき、実用的価値を確認した。
• 本手法は微分不能なシミュレータに対してもロバストであり、ブラックボックスシミュレータとも効果的に連携できるため、コンピュータビジョンおよびロボット分野への広範な応用が可能である。