[論文レビュー] VIPriors 1: Visual Inductive Priors for Data-Efficient Deep Learning Challenges

Robert-Jan Bruintjes, Attila Lengyel+3 more|arXiv (Cornell University)|Mar 5, 2021

Advanced Neural Network Applications参考文献 72被引用数 11

ひとこと要約

この論文は、訓練データを最小限のサブセット（例：1クラスあたり50枚）に制限し、事前学習を禁止することで、データ効率の良いディープラーニングに焦点を当てたVIPriorsチャレンジの初版を提示する。上位のソリューションは、広範なデータ拡張、モデルアンサンブル、および新しいアーキテクチャを活用し、50,000枚の画像からなるImageNetサブセットにおいて73%のトップ1精度に達した。これは、事前学習なしで強力なデータ効率性を示している。

ABSTRACT

We present the first edition of "VIPriors: Visual Inductive Priors for Data-Efficient Deep Learning" challenges. We offer four data-impaired challenges, where models are trained from scratch, and we reduce the number of training samples to a fraction of the full set. Furthermore, to encourage data efficient solutions, we prohibited the use of pre-trained models and other transfer learning techniques. The majority of top ranking solutions make heavy use of data augmentation, model ensembling, and novel and efficient network architectures to achieve significant performance increases compared to the provided baselines.

研究の動機と目的

• 訓練データを大幅に削減したチャレンジを通じて、ディープラーニングにおけるデータ効率のギャップを解消すること。
• 限られたデータと計算リソースでも高い性能を発揮できるようにするため、視覚的インダクティブプライアを促進すること。
• 事前学習に依存せずに、データ拡張、アーキテクチャ設計、トレーニング技術におけるイノベーションを奨励すること。
• 画像分類、物体検出、インスタンスセグメンテーション、アクション認識といった主要なコンピュータビジョンタスクにおけるデータ効率学習のベンチマークを提供すること。
• 大規模なデータセットやGPUを必要としない、アクセスしやすく低リソースなチャレンジを提供することで、中小の機関や企業を支援すること。

提案手法

• ImageNetでは1クラスあたり50枚、COCOでは約6,000枚、Cityscapesセグメンテーションでは200枚、UCF101アクション認識では約4,800個の動画クリップを訓練データとして大幅に削減した4つのチャレンジを設計した。
• すべてのモデルが事前学習、転移学習、外部データの使用を禁止する厳密なルールのもと、完全にスクラッチから訓練された。
• 参加者は、Cutmix、ランダムクロップ、水平反転、フレームスキップなどの高度なデータ拡張戦略を用いて、合成的に訓練データを拡張した。
• 上位のソリューションは、一般化性能とロバストネスを向上させるために、16体以上のモデルを用いたアンサンブルを採用した。
• DSKネットワーク、ResNeSt、TSMモジュールを備えたSlowFastなど、特徴学習を向上させる新しい効率的ネットワークアーキテクチャが、データ不足下での性能向上に寄与した。
• テスト時拡張に加え、ランクプーリングや時空間中央差分畳み込みなど、性能向上に寄与する技術が適用された。

実験結果

リサーチクエスチョン

• RQ1 極めて小さなデータセットからスクラッチで訓練する場合、データ拡張とモデルアンサンブルはどれほど高い性能を達成するのに有効か？
• RQ2 事前学習なしの低データ環境下で、新しい効率的ニューラルネットワークアーキテクチャは、標準的なアーキテクチャをどれほど上回れるか？
• RQ3 4,800枚のトレーニングクリップでのみ動作する2ストリーム（RGB＋フローデータ）動画モデルは、アクション認識で強力な性能を発揮できるか？
• RQ4 運動や空間的構造といった視覚的インダクティブプライアは、コンピュータビジョンタスクにおけるデータ効率性にどのように寄与するか？
• RQ5 センター損失やツリー監視といった損失関数は、データ不足下での一般化性能向上にどのような役割を果たすか？

主な発見

• 上位の画像分類モデルは、50,000枚の画像からなるImageNetサブセットで73.03%のトップ1精度を達成し、ベースラインモデルを著しく上回った。
• 全チャレンジで上位にランクインしたソリューションは、一般化性能とクラスバランスの向上のため、特にCutmixとランダムクロップのデータ拡張に強く依存していた。
• 16体以上のモデルを用いたアンサンブルは、全タスクで一貫した戦略であり、上位のパフォーマンス向上に寄与した。
• 最良のアクション認識ソリューションは、I3DとC3Dネットワークを備えた2ストリームRGB＋フローモデルを採用し、4,800個の動画クリップのUCF101サブセットで90.83%の精度を達成した。
• DSK-net や改善版 HANet といった新しいアーキテクチャを用いても、パフォーマンスの向上は主に、拡張とアンサンブルといった確立された技術に起因していた。
• 結果から、新しいアーキテクチャは役立つが、データ効率性の向上において最も大きな貢献をもたらすのは、データ拡張とアンサンブル手法の体系的かつ効果的な活用であると考えられる。