[論文レビュー] Automated Synthetic-to-Real Generalization

Wuyang Chen, Zhiding Yu+2 more|arXiv (Cornell University)|Jul 14, 2020

Domain Adaptation and Few-Shot Learning被引用数 10

ひとこと要約

本論文は、表現類似度ガイダンスと学習の最適化（L2O）を用いてImageNet事前学習表現を保持することで、合成データから実データへのゼロショット転移を向上させる、自動合成データから実データへの一般化（ASG）を提案する。この手法は、実データを一切使用せずに最先端の一般化性能を達成し、ヒューリスティックな手法を上回り、既存のフレームワークへのプラグアンドプレイ統合を可能にする。

ABSTRACT

Models trained on synthetic images often face degraded generalization to real data. As a convention, these models are often initialized with ImageNet pre-trained representation. Yet the role of ImageNet knowledge is seldom discussed despite common practices that leverage this knowledge to maintain the generalization ability. An example is the careful hand-tuning of early stopping and layer-wise learning rates, which is shown to improve synthetic-to-real generalization but is also laborious and heuristic. In this work, we explicitly encourage the synthetically trained model to maintain similar representations with the ImageNet pre-trained model, and propose a extit{learning-to-optimize (L2O)} strategy to automate the selection of layer-wise learning rates. We demonstrate that the proposed framework can significantly improve the synthetic-to-real generalization performance without seeing and training on real data, while also benefiting downstream tasks such as domain adaptation. Code is available at: https://github.com/NVlabs/ASG.

研究の動機と目的

• 合成データから実データへの一般化におけるImageNet事前学習知識の役割を調査すること。これは、その影響が極めて重要であるにもかかわらず、しばしば無視されている。
• 合成データで訓練されたモデルの実データにおける一般化性能の低さを是正するため、転移学習を生涯学習問題として定式化すること。
• 特にレイヤーごとの学習率の手動によるヒューリスティックなチューニングを、学習の最適化（L2O）フレームワークを用いて自動化すること。
• 合成微調整中にImageNetモデルとの表現類似度を維持するためのプロキシガイダンス最適化戦略を開発すること。
• 本手法を既存の転移学習パイプラインに追加するだけで利用可能にする、プラグアンドプレイ統合を可能にすること。

提案手法

• 本手法は、合成データで訓練されたモデルとImageNet事前学習モデルとの間の表現類似度をプロキシ損失として用い、学習をガイドする。
• 合成データからの転移を、古いタスク（ImageNet）の知識を保持しながら新しいタスク（合成データ）を学ぶ生涯学習問題として定式化する。
• 強化学習に基づく学習の最適化（RL-L2O）モジュールを訓練し、一般化性能を向上させるための最適なレイヤーごとの学習率を予測する。
• RL-L2Oエージェントは、訓練中の勾配と損失値を観測し、プロキシ損失を最小化するように各レイヤーごとに適応的な学習率を出力する。
• フレームワークはドロップインモジュールとして設計されており、モデルアーキテクチャの変更や追加の実データ微調整が不要である。
• プロキシガイダンスは合成データでの訓練中にのみ適用され、最適化中に実画像へのアクセスは一切ない。

実験結果

リサーチクエスチョン

• RQ1 ImageNet事前学習表現の保持が、合成データから実データへの一般化性能に与える影響は何か？
• RQ2 合成学習中に、ImageNetモデルとの表現類似度が一般化性能の有効なプロキシとして機能するか？
• RQ3 学習済みの最適化ポリシーは、レイヤーごとの学習率の選択を自動化し、合成データから実データへの転移を改善できるか？
• RQ4 提案手法は、実データの適応なしに、さまざまな下流タスクやデータセットに一般化できるか？
• RQ5 RL-L2O戦略は、手作業で設計されたハイパーパramータスケジュールと比較して、パフォーマンスとロバスト性の面で優れているか？

主な発見

• 提案されたASGフレームワークは、VisDA-17およびその他のベンチマークで、早期停止や固定学習率といったヒューリスティック手法を上回る、顕著な合成データから実データへの一般化性能の向上を達成した。
• ImageNet事前学習モデルとの表現類似度は、実データが一切ない状況でも、一般化性能の強力なプロキシとして機能し、効果的な最適化を可能にする。
• RL-L2Oモジュールは、説明可能で効果的なレイヤーごとの学習率ポリシーを学習し、パフォーマンスと安定性の面で手作業で設計されたスケジュールを上回った。
• 本手法は、実データを一切使用せずに、VisDA-17およびドメイン適応ベンチマークで最先端の結果を達成した。
• プロキシガイダンスは、複数の下流タスクにわたって転送可能で、タスク間の一般化性を示した。
• フレームワークは、アーキテクチャの変更なしに、既存の訓練パイプラインにスムーズに統合可能なプラグインモジュールとしてデプロイ可能である。