[論文レビュー] Representation Learning by Learning to Count

Mehdi Noroozi, Hamed Pirsiavash+1 more|arXiv (Cornell University)|Aug 22, 2017

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 30

ひとこと要約

この論文は、スケーリングおよびタイリング変換における不変性を利用することで、物体や部品などの視覚的プリミティブの数を数えることによって、自己教師あり表現学習の手法を提案する。変換された画像パッチの対照的損失を用いることで、手動でのアノテーションが一切不要な状態で、転移学習ベンチマークにおいて最先端の性能を達成する意味的意味のある特徴を学習する。

ABSTRACT

We introduce a novel method for representation learning that uses an artificial supervision signal based on counting visual primitives. This supervision signal is obtained from an equivariance relation, which does not require any manual annotation. We relate transformations of images to transformations of the representations. More specifically, we look for the representation that satisfies such relation rather than the transformations that match a given representation. In this paper, we use two image transformations in the context of counting: scaling and tiling. The first transformation exploits the fact that the number of visual primitives should be invariant to scale. The second transformation allows us to equate the total number of visual primitives in each tile to that in the whole image. These two transformations are combined in one constraint and used to train a neural network with a contrastive loss. The proposed task produces representations that perform on par or exceed the state of the art in transfer learning benchmarks.

研究の動機と目的

• 手動でのアノテーションを回避するため、視覚的プリミティブの数え上げに基づく新しい事前学習タスクを用いた自己教師あり表現学習手法の開発。
• 画像変換（スケーリングおよびタイリング）と特徴変換の間の等変性を用いて、監視信号を形式化すること。
• 数え上げに基づく自己教師あり学習が、分類や検出などの下流タスクに有用な判別性の高い特徴を生成することの実証。
• 学習された特徴が低レベルのテクスチャやエッジではなく、高レベルの意味的コンテントを捉えていることの検証。

提案手法

• 本手法は2つの画像変換を用いる：スケーリング（視覚的プリミティブの数のスケール不変性を強制）およびタイリング（画像領域間での数の加法的整合性を強制）。
• 同じ合計数の視覚的プリミティブを保持する変換済み画像パッチに対して類似した表現を生成するよう促す対照的損失を定式化する。
• 監視信号は等変性原理から導出される：もし変換の前後で視覚的プリミティブの総数が保存されているならば、特徴表現もこの算術的一致性を反映すべきである。
• 正例ペア（数え上げ制約を満たすペア）を用いて、対照的損失に基づきネットワークをエンドツーエンドで訓練する。
• ネットワークが出力するカウンティングベクトルが、下流の転移学習のための表現として用いられる。
• 数え上げ以外の変換関係に対しても一般化可能であり、特徴空間における関数的関係として表現可能な限り、本手法は適用可能である。

実験結果

リサーチクエスチョン

• RQ1 視覚的プリミティブの数え上げは、自己教師あり表現学習の意味のある事前学習タスクとして機能するか？
• RQ2 スケーリングおよびタイリング変換における不変性を強制することで、高レベルの意味的コンテントを捉える表現が得られるか？
• RQ3 数え上げの一貫性に基づく対照的損失は、標準的な転移学習ベンチマークで既存の自己教師あり手法を上回る性能を達成できるか？
• RQ4 学習された特徴が低レベルの画像統計ではなく、意味的コンセプトをどの程度反映しているか？

主な発見

• 提案手法は、標準的な転移学習ベンチマークで最先端の性能を達成しており、先行する自己教師あり手法を上回るか同等の性能を示した。
• カウンティングベクトルの大きさは画像領域のサイズに応じて増加し、低レベルのテクスチャではなく視覚的プリミティブの数に敏感であることが示された。
• カウンティング特徴の大きさが大きい画像には複数の物体や大きな物体が含まれており、逆に低マグニチュードの画像は顕著なプリミティブのないテクスチャであることが多かった。
• カウンティング特徴空間における最近傍探索により、同じシーンの輪郭を持つ意味的に類似した画像が正しく検索された。これにより、特徴の意味的関連性が裏付けられた。
• ニューロン活性の可視化から、個々のニューロンが意味的に一貫した画像クラスタ（例：ImageNetにおける犬、COCOにおける野球をしている人々）に反応することが分かった。
• 画像クロップで色が保持されていてもモデルの性能が著しく低下せず、色がカウンティング信号を妨げないことが示されたが、完全な色除去は性能を劣化させた。