[論文レビュー] Towards Fine-grained Visual Representations by Combining Contrastive Learning with Image Reconstruction and Attention-weighted Pooling

Jonas Dippel, Steffen Vogler+1 more|arXiv (Cornell University)|Apr 9, 2021

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、画像再構成と注目重み付きプーリングを併用して対照的学習を最適化することで、細分化された視覚的表現を向上させる自己教師あり学習フレームワークConRecを提案する。U-Netベースのエンコーダデコーダと対照的投影ヘッドを組み合わせることで、ConRecはOxford Flowersや糖尿病網膜症データセットにおいて、SimCLRおよび注目重み付きプーリングを用いたSimCLRを上回り、特徴の細粒度と局所的摂動に対するロバスト性が向上していることを示している。

ABSTRACT

This paper presents Contrastive Reconstruction, ConRec - a self-supervised learning algorithm that obtains image representations by jointly optimizing a contrastive and a self-reconstruction loss. We showcase that state-of-the-art contrastive learning methods (e.g. SimCLR) have shortcomings to capture fine-grained visual features in their representations. ConRec extends the SimCLR framework by adding (1) a self-reconstruction task and (2) an attention mechanism within the contrastive learning task. This is accomplished by applying a simple encoder-decoder architecture with two heads. We show that both extensions contribute towards an improved vector representation for images with fine-grained visual features. Combining those concepts, ConRec outperforms SimCLR and SimCLR with Attention-Pooling on fine-grained classification datasets.

研究の動機と目的

• 対照的学習手法（例：SimCLR）が局所的詳細の感度に欠けるため、細分化された視覚的特徴を十分に捉えることができないという限界を是正すること。
• 対照的フレームワークに画像再構成と注目メカニズムを統合することで、細分化分類のための表現品質を向上させること。
• 再構成と対照的学習を組み合わせることで、複雑な視覚的カテゴリに対してより判別力があり、細粒度の高い特徴が得られることを示すこと。
• 提案されたアーキテクチャが、医療画像や細分化視覚分類タスクを含む細分化データセットにおいて有効であることを検証すること。

提案手法

• ConRecは、マスクされた入力画像を処理し、再構成画像と対照的表現を同時に生成する、スキップ接続を備えた二重ヘッドU-Netエンコーダデコーダアーキテクチャを用いる。
• モデルは2つの損失を同時に最適化する：モーメンタム対照的学習（MoCoスタイル）を用いた対照的損失と、ピixe単位の平均二乗誤差再構成損失。
• 投影の前にエンコーダ特徴に注目重み付きプーリングを適用することで、表現学習中に顕著な局所領域に注目できるようにする。
• N個のラベルなし画像について、2つの拡張済みマスク画像ビューを生成し、モデルは2N個のビューに対して同時に再構成と対照的学習を実行する。
• 最終的な表現ベクトルは、注目重み付きプールド特徴に投影ヘッドを適用することで得られ、下流の対照的最適化を可能にする。
• 全体の損失は重み付き和として定式化される：$\mathcal{L}_{\text{ConRec}} = \mathcal{L}_c + \alpha \cdot \mathcal{L}_r$、ここで$\alpha$は2つの目的をバランスさせる。

実験結果

リサーチクエスチョン

• RQ1 自己再構成と注目プーリングの統合は、細分化分類のための対照的表現の判別性を向上させることができるか？
• RQ2 対照的学習と再構成の目的を併用して最適化することで、標準的なSimCLRと比較して、細分化視覚認識タスクにおける一般化性能が向上するか？
• RQ3 注目重み付きプーリングは、自己教師あり表現学習における特徴の局所化と局所的画像摂動に対するロバスト性をどの程度向上させるか？
• RQ4 Oxford Flowersや糖尿病網膜症画像のように、クラス内変動が大きく、クラス間差が微細なデータセットにおいて、ConRecはどの程度の性能を発揮するか？

主な発見

• ConRecは、Oxford Flowers-102の細分化分類データセットにおいて、標準的なSimCLRを上回り、対照的損失と再構成損失の併用最適化により、より高い正確性を達成している。
• SimCLRに注目重み付きプーリングを追加すると、細分化分類タスクにおける性能が顕著に向上し、判別力のある局所的特徴に焦点を当てる能力が向上していることが示された。
• 再構成と注目メカニズムを併用することで、糖尿病網膜症分類タスクにおいてConRecはさらなる性能向上を達成しており、両者の補完的役割が確認された。
• アブレーションスタディの結果、再構成と注目メカニズムはそれぞれ独立して表現品質の向上に寄与しており、併用した場合に最も優れた結果が得られた。
• モデルの性能向上は、局所的で細分化された視覚的属性への感受性が向上したことに起因し、遮蔽や照明変化などのグローバル摂動に対してもロバストである。
• 結果から、自己再構成が、特に細分化認識に不可欠な低レベルの視覚パターンにおいて、より詳細で意味的意味のある特徴を学習するのを支援することが確認された。