[論文レビュー] Unsupervised Discovery of Object Landmarks via Contrastive Learning

Zezhou Cheng, Jong-Chyi Su+1 more|arXiv (Cornell University)|Jun 26, 2020

Advanced Image and Video Retrieval Techniques参考文献 49被引用数 5

ひとこと要約

本稿では、幾何的および光度的データ拡張を活用して、教師なしで物体のランドマークを発見するための対照的学習アプローチを提案する。これらの変換に対して不変であるように学習された深層ネットワークにより、中間層の表現はランドマークを強く予測可能となる。さらに、ハイパーカラムを用いて層間の特徴をスタックすることで性能が向上し、標準的および新規のベンチマークで先行研究を上回る結果を得た。

ABSTRACT

Given a collection of images, humans are able to discover landmarks of the depicted objects by modeling the shared geometric structure across instances. This idea of geometric equivariance has been widely used for unsupervised discovery of object landmark representations. In this paper, we develop a simple and effective approach based on contrastive learning of invariant representations. We show that when a deep network is trained to be invariant to geometric and photometric transformations, representations from its intermediate layers are highly predictive of object landmarks. Furthermore, by stacking representations across layers in a hypercolumn their effectiveness can be improved. Our approach is motivated by the phenomenon of the gradual emergence of invariance in the representation hierarchy of a deep network. We also present a unified view of existing equivariant and invariant representation learning approaches through the lens of contrastive learning, shedding light on the nature of invariances learned. Experiments on standard benchmarks for landmark discovery, as well as a challenging one we propose, show that the proposed approach surpasses prior state-of-the-art.

研究の動機と目的

• アノテート済みキーポイントデータを必要としない教師なしの物体ランドマーク発見手法の開発。
• 幾何的および光度的変換への不変性が、物体ランドマークを予測可能な表現を生み出すかどうかの調査。
• 階層的特徴スタッキング（ハイパーカラム）がランドマーク予測性能に与える影響の探求。
• 対照的学習の観点から、既存の等長性および不変性表現学習手法を統合する。
• 標準ベンチマークおよび新しく提案されたランドマーク発見のための困難なベンチマークでの手法の評価。

提案手法

• 幾何的および光度的データ拡張に対する不変性を学習するため、対照的学習を用いて深層ニューラルネットワークを訓練する。
• 訓練済みネットワークから中間層特徴を抽出し、学習された不変性のおかげで物体ランドマークを強く予測可能であることが示された。
• 複数の層にわたる特徴マップをスタックしてハイパーカラムを構築し、表現品質およびランドマーク検出性能を向上させる。
• 深層ネットワークにおける不変性の階層的出現に着目し、低層では局所構造、高層ではグローバル構造を捉える。
• 対照的損失を用いて、同一画像の拡張ビュー（ポジティブペア）の表現が類似するよう促進し、ネガティブペアは分離させる。
• 自己教師ありの方法で、学習済み表現を用いて、真値キーポイント位置への回帰によりランドマークを予測する。

実験結果

リサーチクエスチョン

• RQ1 幾何的および光度的変換への不変性は、教師なし設定において意味のある物体ランドマークを発見するのに寄与するか？
• RQ2 深層ネットワーク表現の階層的構造は、ランドマーク発見にどのように寄与するか？
• RQ3 特徴を層間でスタックすること（ハイパーカラム）が、ランドマーク予測性能をどの程度向上させるか？
• RQ4 本手法の対照的学習アプローチは、既存の等長性および不変性表現学習手法と比較して、ランドマーク発見においてどのように異なるか？
• RQ5 提案手法は、未検証の困難なベンチマークに対しても一般化可能か？

主な発見

• 提案された対照的学習アプローチは、教師なし物体ランドマーク発見の標準的ベンチマークで最先端の性能を達成した。
• 対照的に訓練されたネットワークの中間層表現は、明示的な教師信号がなくても、物体ランドマークを強く予測可能であることが示された。
• ハイパーカラムを用いて層間の特徴をスタックすることで、個別の層を用いる場合と比較してランドマーク検出の正確性が顕著に向上した。
• 新しく提案された困難なベンチマークでも、本手法は優れた一般化性能を示し、その強靭さと有効性を確認した。
• 本研究は、等長性および不変性表現学習の統合的視点を提供し、対照的学習がランドマーク発見に適した不変性を自然に捉えられることを示した。
• 結果は、不変性がネットワークの階層を経て段階的に出現し、中間層がランドマーク表現学習に最適であるという仮説を支持した。