[論文レビュー] Unsupervised Representation Learning by Predicting Image Rotations

Spyros Gidaris, Praveer Singh+1 more|arXiv (Cornell University)|Mar 21, 2018

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 1,534

ひとこと要約

本論文は ConvNet を訓練して 0/90/180/270 度の回転を予測することにより意味的な画像特徴を学習し、CIFAR-10、ImageNet、PASCAL、Places で unsupervised な転移学習および semi-supervised の最先端の結果を達成する。

ABSTRACT

Over the last years, deep convolutional neural networks (ConvNets) have transformed the field of computer vision thanks to their unparalleled capacity to learn high level semantic image features. However, in order to successfully learn those features, they usually require massive amounts of manually labeled data, which is both expensive and impractical to scale. Therefore, unsupervised semantic feature learning, i.e., learning without requiring manual annotation effort, is of crucial importance in order to successfully harvest the vast amount of visual data that are available today. In our work we propose to learn image features by training ConvNets to recognize the 2d rotation that is applied to the image that it gets as input. We demonstrate both qualitatively and quantitatively that this apparently simple task actually provides a very powerful supervisory signal for semantic feature learning. We exhaustively evaluate our method in various unsupervised feature learning benchmarks and we exhibit in all of them state-of-the-art performance. Specifically, our results on those benchmarks demonstrate dramatic improvements w.r.t. prior state-of-the-art approaches in unsupervised representation learning and thus significantly close the gap with supervised feature learning. For instance, in PASCAL VOC 2007 detection task our unsupervised pre-trained AlexNet model achieves the state-of-the-art (among unsupervised methods) mAP of 54.4% that is only 2.4 points lower from the supervised case. We get similarly striking results when we transfer our unsupervised learned features on various other tasks, such as ImageNet classification, PASCAL classification, PASCAL segmentation, and CIFAR-10 classification. The code and models of our paper will be published on: https://github.com/gidariss/FeatureLearningRotNet .

研究の動機と目的

• 教師なしの意味的特徴学習を手動ラベリングなしで動機づける。
• 自己教師付きタスクを提案する：画像の回転を 0/90/180/270 の間で予測する。
• 回転ベースの監視がデータセットやタスク間で転送可能な特徴を生むことを示す。
• CIFAR-10、ImageNet、PASCAL VOC、Places205 の supervised、semi-supervised、転移設定で評価する。
• 学習された特徴がいくつかのタスクで教師ありの性能に近づくことを示す。」],
• method:[

提案手法

• 画像を 90 度単位の離散幾何変換 G の集合として定義する（0、90、180、270）。
• 回転した画像 X^y を与えられた回転ラベル y を予測する ConvNet F(.) を訓練し、4 クラス分類タスクを形成する。
• N 個の画像について損失を最適化する：loss(X_i,θ) = - (1/K) sum_y log(F^y(g(X_i|y)|θ)).
• 低レベルのアーティファクトを避けるため、回転を反転と転置操作を用いて実装する。
• 回転予測には意味理解が必要であると主張するため、アテンションマップと第一層フィルタを可視化する。
• RotNet の特徴量を CIFAR-10、ImageNet、PASCAL VOC、Places205 のタスクに転移させて評価する。
• RotNet を従来の教師なし手法および教師ありベースライン（半教師あり設定を含む）と比較する。

実験結果

リサーチクエスチョン

• RQ1 画像回転を予測する単純な自己教示タスクは意味的に有意な特徴を学習できるか？
• RQ2 回転ベースの特徴は多様なデータセットにおける画像分類、検出、セグメンテーションタスクへどのように転移するか？
• RQ3 モデルの深さと回転クラス数が特徴の質に与える影響は？
• RQ4 回転ベースの特徴は半教師あり学習設定で完全教師ありのベースラインと比べてどうか？
• RQ5 学習された特徴は前処理や特別なアーティファクトを避ける必要があるか？

主な発見

• RotNet は CIFAR-10、ImageNet、PASCAL VOC、Places205 の教師なし手法の中で最先端の結果を達成。
• CIFAR-10 では 4 ブロックのネットワークを用いた RotNet の特徴を非線形分類器と組み合わせると最大で 89.06% の精度を達成し、教師ありの性能（92.80%）に近い。
• RotNet の特徴は ImageNet の top-1 分類において非線形・線形プローブの両方で強い転移を提供し、従来の教師なしアプローチを顕著に上回る。
• 半教師あり CIFAR-10 実験では、クラスごとのラベル付きデータが希少（約 1000 未満の例）な場合、RotNet ベースの特徴が教師あり対戦を上回る。
• ImageNet で学習された RotNet の特徴は PASCAL VOC の分類/検出や Places の分類へ効果的に転移し、従来の教師なし手法よりかなりの利得を示す。