[論文レビュー] Image Enhanced Rotation Prediction for Self-Supervised Learning

Shin’ya Yamaguchi, Sekitoshi Kanai+2 more|arXiv (Cornell University)|Dec 25, 2019

Advanced Image and Video Retrieval Techniques参考文献 52被引用数 7

ひとこと要約

この論文では、物体の形状とテクスチャの両方を捉える表現を学ぶために、画像回転と画像強調（例：ソーラリゼーション）を同時に予測する自己教師あり学習手法であるImage Enhanced Rotation Prediction (IE-Rot) を提案する。共通の特徴抽出器を2つのタスクで同時に学習させることで、ImageNet、PASCAL-VOC、COCOベンチマークで最先端の性能を達成し、標準的な回転予測や教師ありImageNet事前学習よりも優れた結果を複数のケースで示した。

ABSTRACT

The rotation prediction (Rotation) is a simple pretext-task for self-supervised learning (SSL), where models learn useful representations for target vision tasks by solving pretext-tasks. Although Rotation captures information of object shapes, it hardly captures information of textures. To tackle this problem, we introduce a novel pretext-task called image enhanced rotation prediction (IE-Rot) for SSL. IE-Rot simultaneously solves Rotation and another pretext-task based on image enhancement (e.g., sharpening and solarizing) while maintaining simplicity. Through the simultaneous prediction of rotation and image enhancement, models learn representations to capture the information of not only object shapes but also textures. Our experimental results show that IE-Rot models outperform Rotation on various standard benchmarks including ImageNet classification, PASCAL-VOC detection, and COCO detection/segmentation.

研究の動機と目的

• 回転予測の限界、すなわち物体の形状は捉えられるがテクスチャは捉えられないという点を是正すること。
• 回転予測と画像強調（例：ソーラリゼーション）を併用することで補助的プロムプトタスクとしての役割を果たすことで、表現学習を向上させること。
• 特徴品質の向上を図りながら、既存の回転予測フレームワークとの単純性と互換性を維持すること。
• 形状とテクスチャの両方の情報を学習することで、多様なビジョンタスクに一般化しやすい表現が得られることを実証すること。

提案手法

• IE-Rotは、入力画像に回転と画像強調（例：ソーラリゼーション）を逐次適用して1つの変換済み画像を生成する。
• モデルは同じ変換済み画像に対して、2つの分類タスクを同時に実行する：回転角度（0°, 90°, 180°, 270°）の予測と、適用された画像強調の種別予測。
• 共有特徴抽出器は、回転予測と強調予測の両方の交差エントロピー損失を組み合わせたマルチタスク損失によって最適化される。
• アーキテクチャの変更なしに、標準的なCNNアーキテクチャ（例：ResNet-50, WRN-40-10）を用いることで単純性を保つ。
• 画像強調はデータオーグメンテーションとして適用されるが、主なイノベーションは単なるオーグメンテーションではなく、共同教師あり学習にあり。
• 分類、検出、セグメンテーションなどの下流タスクで共有特徴抽出器を微調整することで、エンドツーエンドで評価される。

実験結果

リサーチクエスチョン

• RQ1 回転予測に加えて画像強調予測を組み合わせることで、標準的な回転予測を上回る自己教師あり表現学習が可能になるか？
• RQ2 形状とテクスチャ情報の共同学習が、下流ビジョンタスクでの一般化性能を向上させるか？
• RQ3 IE-Rotの性能向上は、明示的なマルチタスク学習によるものか、それとも画像強調による暗黙のデータオーグメンテーションによるものか？
• RQ4 多様なベンチマークにおいて、IE-Rotは教師ありImageNet事前学習や他の最先端の自己教師あり手法と比べてどのように評価されるか？

主な発見

• ImageNet線形評価において、IE-Rotは標準的な回転予測（Rotation）の42.2％に対して51.5％のトップ-1精度を達成し、それを上回った。
• PASCAL-VOC検出タスクでは、IE-Rotは53.6％のAPを達成し、Rotation（51.1％）とDecoupling（52.8％）を上回った。
• COCOインスタンスセグメンテーションでは、IE-Rotは38.1％のAPを達成し、Rotation（36.4％）とDecoupling（35.7％）を上回った。
• データオーグメンテーションを追加した回転予測（Rotation+DA）よりもIE-Rotが優れていることから、性能向上は単なるオーグメンテーションではなく、共同学習によるものであることが証明された。
• CIFAR-100では、IE-Rotは49.0％のトップ-1精度を達成し、Rotation（43.0％）とRotation+DA（43.3％）を大きく上回った。
• COCOインスタンスセグメンテーションにおいて、IE-RotはImageNet教師あり事前学習と同等またはそれ以上の性能を達成しており、強力な一般化能力を示した。