[論文レビュー] Probing the State of the Art: A Critical Look at Visual Representation Evaluation

Cinjon Resnick, Zeping Zhan+1 more|arXiv (Cornell University)|Nov 30, 2019

Multimodal Machine Learning Applications参考文献 32被引用数 10

ひとこと要約

この論文は、自己教師あり視覚表現の評価に線形プローブに依存することの妥当性に疑問を呈し、線形分類で成績が芳しくないモデルが、動画アクションロケーションのような複雑で時系列的なタスクでは優れた性能を示すことを示している。新たに開発されたデータセット Gymnastics を用いて、CorrFlow や TimeCycle DFC といった自己教師ありモデルが、T SN や ResNet といった教師ありモデルでさえも、分布外の動画データにおいて上回ることを明らかにした。これは、線形プローブが転移性を評価するのに不十分であり、モデルのアーキテクチャ的バイアスが評価結果に顕著に影響することを示している。

ABSTRACT

Self-supervised research improved greatly over the past half decade, with much of the growth being driven by objectives that are hard to quantitatively compare. These techniques include colorization, cyclical consistency, and noise-contrastive estimation from image patches. Consequently, the field has settled on a handful of measurements that depend on linear probes to adjudicate which approaches are the best. Our first contribution is to show that this test is insufficient and that models which perform poorly (strongly) on linear classification can perform strongly (weakly) on more involved tasks like temporal activity localization. Our second contribution is to analyze the capabilities of five different representations. And our third contribution is a much needed new dataset for temporal activity localization.

研究の動機と目的

• 自己教師あり視覚表現の評価における線形プローブの妥当性を疑問視すること。
• 自己教師ありモデルが、複雑で時系列的な動画理解タスクにおいて、教師ありモデルよりも一般化性能に優れているかどうかを調査すること。
• 分布バイアスを低減するように設計された、より大規模で現実的であるGymnasticsという新しい、より自然なデータセットを導入すること。
• 複数のベンチマークにおいて、異なるデータ分布を想定した状況で、5つの表現（3つの自己教師あり、2つの教師あり）の転移性能を分析すること。
• 線形プローブから少人数学習への評価の転換を主張し、サンプルの複雑さを転移能力のより良い代理指標とするべきであることを強調すること。

提案手法

• 著者らは、モデル間の表現品質を比較するための標準ベンチマークとして、ImageNet および CIFAR-10 における線形プローブを用いた。
• 彼らは、Thumos14 および、複数クラスで長時間の動画クリップを含む新しく導入された Gymnastics データセットという2つの時系列的アクティビティロケーションデータセットでモデルを評価した。
• ロケーションタスクでは、2段階のアプローチを採用した：まず時系列スライディングウィンドウを用いた候補領域生成を行い、その後で学習済み表現を用いた分類を実施した。
• 彼らは、平均平均精度（mAP）と、提案数（例：100、500、1000）に応じたリCALLを用いてモデルを比較した。
• モデルの順位付けを、線形分類、Thumos14 ロケーション、Gymnastics ロケーションという3つの評価設定で比較し、順位の不一致を検出した。
• 分布シフトに対するロバストネスを評価するために、ドメイン適応型微調整（DFC）と非ドメイン適応型（NFC）の評価プロトコルを導入した。

実験結果

リサーチクエスチョン

• RQ1 線形プローブは、自己教師あり視覚表現の転移性を評価するための十分かつ信頼できる指標であるだろうか？
• RQ2 テスト分布がトレーニング分布と異なる状況下で、自己教師ありモデルは時系列的アクションロケーションタスクにおいて、教師ありモデルと比べてどのように性能を発揮するだろうか？
• RQ3 アーキテクチャの選択やトレーニングデータの分布バイアスが、標準的な評価プロトコルにおけるモデル順位にどの程度影響を及えるだろうか？
• RQ4 自己教師あり表現は、少人数学習、分布外の転移学習の場面で、教師ありモデルと同等またはそれを上回る性能を示せるだろうか？
• RQ5 非線形な時系列タスクと線形プローブタスクの両方で評価した場合、モデルの順位付けに顕著な変化が生じるだろうか？

主な発見

• Thumos14 データセットでは、教師ありの TSN モデルが、すべての自己教師ありモデルを上回った。これは、類似したデータでトレーニングされたことによる分布上の利点を示している。
• より多様で分布外の Gymnastics データセットでは、CorrFlow DFC や TimeCycle DFC といった自己教師ありモデルが、TSN や ResNet をも上回った。特に提案数が少ない（例：100件）状況で顕著で、優れた一般化性能を示している。
• AMDIM は線形プローブタスクで高い順位を獲得しているが、時系列的ロケーションタスクでは成績が芳しくなく、文脈上は強力であるとされるが、線形評価と非線形評価の間に乖離があることを示している。
• モデルの順位付けは、評価タスクによって顕著に異なる。例えば、TimeCycle は線形プローブでは上位にランクされたが、ロケーションタスクでは下位に位置づけられた。一方、CorrFlow は線形タスクでは低順位であったが、非線形動画タスクでは上位にランクされた。
• TSN の性能は、UCF-101 と類似したデータセットでトレーニングされたことにより、Thumos14 で向上したが、Gymnastics ではその利点が薄れ、分布の整合性が転移成功に重要であることを示している。
• 結果から、線形プローブは転移性を測るのに不適切な代理指標であることが示唆された。モデルの順位付けが評価パラダイムによって一貫性を欠くためであり、少人数学習におけるサンプルの複雑さこそが、転移能力のより良い指標である可能性がある。