[論文レビュー] TiCo: Transformation Invariance and Covariance Contrast for Self-Supervised Visual Representation Learning

Jiachen Zhu, Rafael M. Moraes+4 more|arXiv (Cornell University)|Jun 21, 2022

Domain Adaptation and Few-Shot Learning被引用数 12

ひとこと要約

TiCoは、自発的視覚表現学習手法を提案し、変換不変性と共分散対比を同時に最適化することで、自明な解を防ぐ。暗黙のメモリバンクを活用し、対比学習と冗長性低減の原則を統合することで、小バッチサイズでもImageNetの線形プローブおよびオブジェクト検出ベンチマークで最先端の性能を達成する。

ABSTRACT

We present Transformation Invariance and Covariance Contrast (TiCo) for self-supervised visual representation learning. Similar to other recent self-supervised learning methods, our method is based on maximizing the agreement among embeddings of different distorted versions of the same image, which pushes the encoder to produce transformation invariant representations. To avoid the trivial solution where the encoder generates constant vectors, we regularize the covariance matrix of the embeddings from different images by penalizing low rank solutions. By jointly minimizing the transformation invariance loss and covariance contrast loss, we get an encoder that is able to produce useful representations for downstream tasks. We analyze our method and show that it can be viewed as a variant of MoCo with an implicit memory bank of unlimited size at no extra memory cost. This makes our method perform better than alternative methods when using small batch sizes. TiCo can also be seen as a modification of Barlow Twins. By connecting the contrastive and redundancy-reduction methods together, TiCo gives us new insights into how joint embedding methods work.

研究の動機と目的

• 自己教師あり表現学習における自明な解問題（モデルが定数埋め込みに収束する現象）を解消すること。
• 埋め込みの共通最適化目的関数を通じて、対比学習と冗長性低減手法を統合すること。
• 暗黙のメモリバンクを用いて、大規模なメモリバンクを模倣することで、小バッチサイズでも効果的な自己教師あり学習を可能にすること。
• 埋め込みのグラム行列と共分散行列の双対性に関する理論的・実験的洞察を提供すること。

提案手法

• TiCoは、変換不変性損失と共分散対比損失を同時に最小化することで、埋め込みを正則化する。
• 共分散対比損失は、埋め込みの共分散行列がフルランクになるよう促進することで、低ランク解を罰する。
• 理論的には、明示的なメモリストレージを必要とせず、無限大のメモリバンクを持つMoCoと同等である。
• また、共分散行列に指数移動平均を適用するBarlow Twinsの変種と見なすこともできる。
• 固有値に制約を課すために正規化が施され、すべての固有値が消滅する自明な解を防ぐ。
• 本手法は、グラム行列と共分散行列を双対とみなすことにより、対比学習と冗長性低減手法の統一的理解を可能にする。

実験結果

リサーチクエスチョン

• RQ1 明示的なメモリや正規化なしに、データオーグメンテーションに対する不変性と自明な解の回避を同時に達成できる自己教師あり手法は存在するか？
• RQ2 変換不変性と共分散正則化の相互作用が、表現品質にどのように寄与するか？
• RQ3 共同埋め込みフレームワークにおいて、対比学習と冗長性低減の理論的関係は何か？
• RQ4 対比学習と冗長性低減の両方の特性を持つ手法は、既存の最先端手法を上回る性能を発揮できるか？
• RQ5 小バッチサイズ設定下で、TiCoはMoCo や Barlow Twins と比べてどのように性能を発揮するか？

主な発見

• 線形分類において、Places-205で54.0%のトップ1正答率、VOC07で86.5%のmAP、iNat18で45.1%を達成し、最先端手法と同等またはそれを上回る性能を示した。
• COCOオブジェクト検出において、VOC07+12で56.2%のAP、COCOで83.1%のAP50を達成し、MoCo v2 や SwAV と比較して主要指標で優れた性能を発揮した。
• 暗黙のメモリバンク機構により、大規模バッチを必要としないため、小バッチサイズでも競争力のある性能を発揮した。
• 理論的分析により、TiCoは、記憶コストを一切かけずに無限大のメモリバンクを持つMoCoと同等であることが示され、小バッチ条件でも頑健であることが説明された。
• 埋め込みのグラム行列と共分散行列の双対性を通じて、対比学習と冗長性低減手法が双対的であることが示され、両者の間のより深い関係が明らかになった。
• 固有値の崩壊を防ぐ共分散対比損失を用いることで、明示的な正規化なしに自明な解を回避した。