[論文レビュー] Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles

Mehdi Noroozi, Paolo Favaro|arXiv (Cornell University)|Mar 30, 2016

Image Processing and 3D Reconstruction被引用数 13

ひとこと要約

本論文は、画像の断片をシャッフルして正しい空間的配置を予測させるジャイガーパズルを解くことで、コンテキストフリー・ネットワーク（CFN）を学習させる自己教師あり手法を提案する。このアプローチは、画像分類および検出における転移学習で最先端の性能を達成し、従来の自己教師あり手法を上回り、教師あり事前学習の精度に近づく。

ABSTRACT

In this paper we study the problem of image representation learning without human annotation. By following the principles of self-supervision, we build a convolutional neural network (CNN) that can be trained to solve Jigsaw puzzles as a pretext task, which requires no manual labeling, and then later repurposed to solve object classification and detection. To maintain the compatibility across tasks we introduce the context-free network (CFN), a siamese-ennead CNN. The CFN takes image tiles as input and explicitly limits the receptive field (or context) of its early processing units to one tile at a time. We show that the CFN includes fewer parameters than AlexNet while preserving the same semantic learning capabilities. By training the CFN to solve Jigsaw puzzles, we learn both a feature mapping of object parts as well as their correct spatial arrangement. Our experimental evaluations show that the learned features capture semantically relevant content. Our proposed method for learning visual representations outperforms state of the art methods in several transfer learning benchmarks.

研究の動機と目的

• 人間によるアノテーションのコストを回避するため、画像パズルの解法を事前学習タスクとして用いる自己教師あり学習手法の開発。
• 個々の画像タイルに制限された初期受容野を持つコンテキストフリー・ネットワーク（CFN）の設計により、部分および空間的配置の理解のためのより良い特徴学習を実現。
• 学習された特徴の下流タスク（例：物体分類および検出）への転送可能性の評価。
• パズル解法による自己教師あり事前学習が、微調整された状態で教師あり事前学習の性能を凌駕または同等に達成できることの実証。

提案手法

• 初期層で個々の画像タイルを独立して処理するシアン・エンネード畳み込みニューラルネットワーク（CFN）を用いる。このアーキテクチャにより、一度に1つのタイルにのみコンテキストが制限される。
• 自然画像から抽出された画像パッチをランダムにシャッフルし、それをジャイガーパズルとして用い、学習のための事前学習タスクとする。
• 9つのタイルの120通りの可能な順列に対して分類ヘッドを用いて、シャッフルされたパッチの正しい空間的配置を予測するようにネットワークを学習させる。
• CFNは、AlexNetと同等の意味的学習能力を維持しながら、パラメータ数を少なく設計されている。
• ジャイガーパズルタスクで事前学習を終えた後、最終畳み込み層からの特徴を用いて、下流の分類および検出ベンチマークで微調整による転移学習を実施。
• 訓練中に色のジャマ（color jittering）を含むデータ拡張戦略を適用し、モデルのロバスト性を向上。

実験結果

リサーチクエスチョン

• RQ1 人間によるアノテーションなしで、ジャイガーパズルの解法が汎用的視覚表現を学習する有効な事前学習タスクとして機能するか？
• RQ2 コンテキストフリーなネットワークアーキテクチャが、空間的推論の前に部分レベルの表現を分離することで、特徴学習を向上させるか？
• RQ3 ジャイガーパズルの解法で学習された特徴は、他の自己教師ありおよび教師あり手法と比較して、転移学習ベンチマークでどの程度の性能を示すか？
• RQ4 自己教師あり事前学習が、下流タスクで教師あり事前学習との性能差をどの程度縮められるか？

主な発見

• CFNは、ImageNet分類タスクにおいて、すべての先行自己教師あり手法を上回り、転移学習後のトップ-1正解率が57.3%に達し、これまでの自己教師あり手法の最良成績を更新した。
• PASCAL VOC 2007検出ベンチマークでは、平均平均精度（mAP）が64.1%に達し、従来の自己教師ありアプローチを上回った。
• 画像検索の可視化結果から、CFN特徴は物体の形状やカテゴリに非常に感受性が高く、最近隣接する画像はしばしば同じクラスに属することが確認された。
• 2つの全結合層を用いて距離関数を学習した場合、CFN特徴はDoerschらやWangとGuptaらの自己教師あり特徴を著しく上回った。
• 130万枚の画像で2.5日間で収束し、1枚あたり平均69個のパズルを生成するが、これは従来の手法と比べて著しく高速であった。
• フィルターや活性化の可視化から、ネットワークが物体の部分（例：顔、羽、脚）やシーンの構成要素を専用に検出する能力を学習しており、層が深くなるにつれて複雑性が増していることがわかった。