[論文レビュー] AugNet: End-to-End Unsupervised Visual Representation Learning with Image Augmentation

Mingxiang Chen, Zhanguo Chang+5 more|arXiv (Cornell University)|Jun 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 7

ひとこと要約

AugNetは、ラベルなしデータを用いて意味のある画像特徴を学習するエンド・ツー・エンドの自己教師あり視覚表現学習手法を提案する。同じ画像の増幅されたビューの埋め込みを近づける一方で、異なる画像のもの同士を遠ざけることで、自己教師あり画像クラスタリングおよび画像検索において最先端の性能を達成し、Pokémon、アニメのイラスト、人物スケッチなど、ドメイン外のデータセットにおいても教師ありベースラインを上回る性能を示した。

ABSTRACT

Most of the achievements in artificial intelligence so far were accomplished by supervised learning which requires numerous annotated training data and thus costs innumerable manpower for labeling. Unsupervised learning is one of the effective solutions to overcome such difficulties. In our work, we propose AugNet, a new deep learning training paradigm to learn image features from a collection of unlabeled pictures. We develop a method to construct the similarities between pictures as distance metrics in the embedding space by leveraging the inter-correlation between augmented versions of samples. Our experiments demonstrate that the method is able to represent the image in low dimensional space and performs competitively in downstream tasks such as image classification and image similarity comparison. Specifically, we achieved over 60% and 27% accuracy on the STL10 and CIFAR100 datasets with unsupervised clustering, respectively. Moreover, unlike many deep-learning-based image retrieval algorithms, our approach does not require access to external annotated datasets to train the feature extractor, but still shows comparable or even better feature representation ability and easy-to-use characteristics. In our evaluations, the method outperforms all the state-of-the-art image retrieval algorithms on some out-of-domain image datasets. The code for the model implementation is available at https://github.com/chenmingxiang110/AugNet.

研究の動機と目的

• 手動によるアノテーションを一切必要としない、シンプルでエンド・ツー・エンドの自己教師ありディープラーニングフレームワークを視覚表現学習のために開発すること。
• 増幅された画像バージョン同士の相関関係を活用して自己教師信号として用いることで、特徴表現を向上させること。
• 外部のアノテート済みデータセットでの事前学習を経ずに、画像分類や類似性比較などの下流タスクへの特徴の転移性を可能にすること。
• ラベル付きデータが限られている、あるいは存在しないドメイン外のデータセットにおいて、既存の自己教師ありおよび教師ありの画像検索手法を上回ること。

提案手法

• この手法は、同じ画像の増幅ビュー同士の埋め込みを近づけるように、深層畳み込みニューラルネットワーク（CNN）を訓練し、低次元の埋め込み空間にマップする。
• 正例ペア（同じ画像の増幅ビュー）間の類似度を最大化し、負例ペア（異なる画像の増幅ビュー）間の類似度を最小化するため、対照的損失関数を用いる。
• データ増幅を画像ごとに適用して正例ペアを生成することで、ラベルなし画像のみを用いてエンド・ツー・エンドで訓練する。
• モデルはResNetバックボーン（ResNet18、ResNet34）を用い、学習済み表現の可視化にt-SNEを適用する。
• 推論時には、微調整や外部の教師信号を一切用いずに、画像特徴を抽出し、類似性検索やクラスタリングに利用する。
• スケッチデータセットの場合、訓練中に構造的詳細を保持するために画像をモノクロ（1チャネル）に変換する。

実験結果

リサーチクエスチョン

• RQ1 画像増幅にのみ依存する自己教師あり学習手法が、ラベルなしデータのみで競争力のある視覚表現を学習できるか？
• RQ2 ドメイン外のデータセットにおける画像検索において、提案手法の性能が最先端の教師ありおよび自己教師あり手法と比べてどのように異なるか？
• RQ3 学習済み特徴が、アニメ、スケッチ、Pokémon画像など多様なデータ分布にどの程度一般化可能か？
• RQ4 限定的な学習データと、事前学習モデルへのアクセスなしでも、この手法が強力な性能を維持できるか？

主な発見

• AugNetは、STL-10とCIFAR-100の自己教師ありクラスタリングにおいて、それぞれ60.1%および27.1%の精度を達成し、強力な表現学習能力を示した。
• Pokémonデータセットでは86.50%のmAPを達成し、前回の最先端手法を5.92ポイント上回った。
• Tagged Anime Illustrationsデータセットでは20.33%のmAPを達成し、前回の最先端手法より3.63ポイント向上した。
• Human Sketchesデータセットでは20.03%のmAPを達成し、前回の最先端手法を0.83ポイント上回った。
• モデルはPokémonで20分、アニメで6時間、スケッチで12時間で収束し、小規模から中規模のデータセットにおいても効率的な学習が可能であることを示した。
• t-SNEを用いた可視化により、モデルが意味的に意味のあるクラスタを学習しており、類似した画像が埋め込み空間内でまとまっていることが確認された。