[論文レビュー] Parametric Instance Classification for Unsupervised Visual Feature Learning

Yue Cao, Zhenda Xie+4 more|arXiv (Cornell University)|Jun 25, 2020

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 26

ひとこと要約

本稿では、1本のブランチで動作するパラメトリックなアプローチとして、無教師視覚特徴学習のためのパラメトリックインスタンス分類（PIC）を提案する。この手法は、各画像を固有のクラスとして扱うことで、インスタンス同定の複雑さを軽減し、SimCLR や MoCo v2 などの最先端手法と同等の性能を達成する。主な限界を克服するため、スライディングウィンドウ型データスケジューラと、重み更新補正を伴うネガティブサンプリング手法を導入し、収束速度を向上させるとともに、大規模データセットにおけるスケーラブルな学習を可能にし、情報漏洩の懸念もなくなる。

ABSTRACT

This paper presents parametric instance classification (PIC) for unsupervised visual feature learning. Unlike the state-of-the-art approaches which do instance discrimination in a dual-branch non-parametric fashion, PIC directly performs a one-branch parametric instance classification, revealing a simple framework similar to supervised classification and without the need to address the information leakage issue. We show that the simple PIC framework can be as effective as the state-of-the-art approaches, i.e. SimCLR and MoCo v2, by adapting several common component settings used in the state-of-the-art approaches. We also propose two novel techniques to further improve effectiveness and practicality of PIC: 1) a sliding-window data scheduler, instead of the previous epoch-based data scheduler, which addresses the extremely infrequent instance visiting issue in PIC and improves the effectiveness; 2) a negative sampling and weight update correction approach to reduce the training time and GPU memory consumption, which also enables application of PIC to almost unlimited training images. We hope that the PIC framework can serve as a simple baseline to facilitate future study.

研究の動機と目的

• 2本のブランチで構成される非パラメトリックなインスタンス同定とは対照的に、より単純でパラメトリックな代替手法を、無教師視覚表現学習の分野に提案すること。
• 既存の2本のブランチアーキテクチャで生じる情報漏洩を解消するための複雑なメカニズムの必要性を排除すること。
• パラメトリックインスタンス分類における頻度の低いインスタンスの訪問問題と、高いメモリ消費量という課題を解決することで、大規模データセットにおける学習効率とスケーラビリティを向上させること。
• 今後の無教師表現学習研究のための実用的で効果的なベースラインとして、PICを確立すること。

提案手法

• 1本のブランチアーキテクチャを採用し、各画像をイテレーションごとにネットワークに一度だけ入力することで、2本のブランチによる複雑さと情報漏洩の懸念を回避する。
• 特徴の区別性と一般化性能を向上させるために、温度スケーリングを施したコサインソフトマックス損失を採用する。
• 同じインスタンスの再訪問間隔を短縮することで収束速度と表現学習の質を向上させるスライディングウィンドウ型データスケジューラを導入する。
• トレーニング時間とGPUメモリ使用量を、データセットサイズが増大してもほぼ一定に保つために、ネガティブサンプリング戦略と重み更新補正を組み合わせた手法を提案する。
• 特徴品質を向上させるために、2層のMLPプロジェクションヘッドと強力なデータオーグメンテーションを採用し、最先端の無教師学習の実践と整合性を保つ。
• バックボーン、プロジェクションヘッド、損失関数といった標準的な教師あり分類のコンponentsを採用しつつ、最近のSOTA技術を適用することで、競争力のある性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 単純で1本のブランチを持つパラメトリック分類フレームワークは、SimCLR や MoCo v2 などの最先端の2本のブランチアーキテクチャと同等の性能を達成できるか？
• RQ2 パラメトリックインスタンス分類が、かつての認識とは対照的に、その限界があるとされる中で、強力な転移性能を達成するための鍵となるコンponentの設定は何か？
• RQ3 PICにおける極めて頻度の低いインスタンスの訪問問題は、どのように緩和可能か？ これにより収束速度と表現品質が向上するか？
• RQ4 データセットサイズが増大しても、トレーニング効率とGPUメモリ使用量をほぼ一定に保てるのは可能か？ これにより、無制限規模のデータへの応用が可能になるか？
• RQ5 PICの注目パターン（サリエンシーマップ）は、教師ありモデルとどの程度類似しているか？ これは、その誘導的バイアス（inductive bias）に何を示唆するか？

主な発見

• PICフレームワークは、ImageNet-1K において、同等のコンponent設定を用いた場合、線形評価のトップ1正答率で74.6%を達成し、SimCLR や MoCo v2 と同等の性能を示した。
• スライディングウィンドウ型データスケジューラは、同じインスタンスの再訪問間隔を短縮することで、収束速度と表現品質を顕著に向上させた。
• ネガティブサンプリングと重み更新補正を組み合わせた手法により、データセットサイズが増大してもGPUメモリ使用量とトレーニング時間の変化をほぼ一定に保つことができ、PICが無制限規模のデータセットにスケーラブルであることが実証された。
• サリエンシーマップ解析により、PICと教師ありモデルとの類似度が平均0.762に達し、PICが教師あり学習と同様に、顕著な画像領域に注目する学習を効果的に行っていることが示された。
• クラスレベルの監視が欠如しているにもかかわらず複数のオブジェクトに注目するが、PICの注目パターンは統計的に教師ありモデルと類似しており、表現学習に有効な誘導的バイアスを有していることが示唆された。
• 本研究により、パラメトリックインスタンス分類は本質的に制限されているという認識が覆された。性能の制限要因は、フレームワークの不適合性ではなく、コンponent設計の問題であることが明らかになった。