[論文レビュー] Multiple Pretext-Task for Self-Supervised Learning via Mixing Multiple Image Transformations

Shin’ya Yamaguchi, Sekitoshi Kanai+2 more|arXiv (Cornell University)|Dec 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 12

ひとこと要約

本論文では、回転予測に加えて画像強調変換（例：シャープング、ソーラライジング）を用いて、テクスチャおよび色の意味を捉えるための複数の事前学習タスクを統合的に最適化する、マルチプレックス・プリティスク・自己教師付き学習（MP-SSL）を提案する。フランク＝ウォルフに基づくマルチタスク学習戦略を用いることで、MP-SSLはPlaces-205で最先端の性能を達成し、複数のベンチマークで回転予測のみの手法を上回る性能を示した。

ABSTRACT

Self-supervised learning is one of the most promising approaches to learn representations capturing semantic features in images without any manual annotation cost. To learn useful representations, a self-supervised model solves a pretext-task, which is defined by data itself. Among a number of pretext-tasks, the rotation prediction task (Rotation) achieves better representations for solving various target tasks despite its simplicity of the implementation. However, we found that Rotation can fail to capture semantic features related to image textures and colors. To tackle this problem, we introduce a learning technique called multiple pretext-task for self-supervised learning (MP-SSL), which solves multiple pretext-task in addition to Rotation simultaneously. In order to capture features of textures and colors, we employ the transformations of image enhancements (e.g., sharpening and solarizing) as the additional pretext-tasks. MP-SSL efficiently trains a model by leveraging a Frank-Wolfe based multi-task training algorithm. Our experimental results show MP-SSL models outperform Rotation on multiple standard benchmarks and achieve state-of-the-art performance on Places-205.

研究の動機と目的

• 自己教師付き表現学習における回転予測の限界、すなわち画像のテクスチャおよび色の意味を捉えることの不十分さを是正すること。
• 回転予測を超える複数の事前学習タスクを組み込むことで、一般化性能および特徴の多様性を向上させること。
• 複数の事前学習タスクを同時に最適化できる、計算コストの増加を最小限に抑えた効率的なマルチタスク学習フレームワークを開発すること。
• 特に微細な視覚的意味を捉える能力に優れた、標準的な視覚ベンチマークにおける優れた性能を達成すること。

提案手法

• シャープングやソーラライジングなどの画像強調変換を用いて、回転予測に加えて追加の自己教師付き目的として複数の事前学習タスクを導入する。
• 複数の事前学習タスクを同時に効率的に最適化できるように、フランク＝ウォルフに基づく最適化アルゴリズムを採用する。
• 同じ画像の異なる増幅ビューから特徴を抽出するための共有バックボーンネットワークを用い、各ビューに異なる変換を適用する。
• 各事前学習タスクを分類問題として定式化し、与えられた画像ビューに適用された変換を予測する。
• 同じ入力画像を異なる増幅処理を施して用いることで、学習中に多様な教師信号を生成する。
• すべての事前学習タスクからのクロスエントロピー損失を組み合わせたマルチタスク損失を用いて、モデルをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 画像強調変換を含む複数の事前学習タスクを組み合わせることで、回転予測のみに依存する場合を上回る表現学習が可能になるか？
• RQ2 テクスチャおよび色に敏感な変換を組み込むことで、下流の視覚タスクにおける性能にどのような影響を与えるか？
• RQ3 フランク＝ウォルフに基づくマルチタスク学習戦略は、性能の低下を伴わずに複数の事前学習タスクを効果的にバランスさせることができるか？
• RQ4 MP-SSLは、ImageNet や Places-205 といった標準ベンチマークにおいて、標準的な回転のみの自己教師付き学習をどの程度上回るか？

主な発見

• MP-SSLは、Places-205データセットで最先端の性能を達成し、以前の自己教師付き手法を上回った。
• ゼロショットおよび微調整精度において、回転のみのベースラインと比較して、複数の下流タスクで一貫して向上した。
• 画像強調変換の組み込みにより、モデルのテクスチャおよび色の意味を捉える能力が顕著に向上した。
• フランク＝ウォルフに基づくマルチタスク学習戦略により、複数の事前学習タスクにおける安定的かつ効果的な最適化が可能になった。
• MP-SSLは、ImageNet や CIFAR-100 を含む多様なベンチマークにおいて、優れた一般化性能を示した。
• アブレーションスタディの結果、回転タスクと強調タスクの両方が最終的な表現品質に独自に寄与していることが確認された。