[論文レビュー] What Is Considered Complete for Visual Recognition?

Lingxi Xie, Xiaopeng Zhang+3 more|arXiv (Cornell University)|May 28, 2021

Advanced Neural Network Applications参考文献 69被引用数 6

ひとこと要約

本論文は、視覚認識のための新しい事前学習パラダイムとして、学習による圧縮（learning-by-compression）を提案する。この手法では、モデルが画像をコン pact な特徴に圧縮し、忠実に再構成するように訓練され、意味的アノテーションが弱い教師信号として機能する。主な貢献は、精度と複雑さのトレードオフから、圧縮と回復のトレードオフへの焦点のシフトであり、これにより現在のアノテーション制限付きのパラダイムを超えたより包括的な視覚表現学習の基盤が提供される。

ABSTRACT

This is an opinion paper. We hope to deliver a key message that current visual recognition systems are far from complete, i.e., recognizing everything that human can recognize, yet it is very unlikely that the gap can be bridged by continuously increasing human annotations. Based on the observation, we advocate for a new type of pre-training task named learning-by-compression. The computational models (e.g., a deep network) are optimized to represent the visual data using compact features, and the features preserve the ability to recover the original data. Semantic annotations, when available, play the role of weak supervision. An important yet challenging issue is the evaluation of image recovery, where we suggest some design principles and future research directions. We hope our proposal can inspire the community to pursue the compression-recovery tradeoff rather than the accuracy-complexity tradeoff.

研究の動機と目的

• 現在の視覚認識システムの根本的な制限、すなわち人間が認識可能なすべての視覚的情報を網羅できないこと（不完全で粒度の細かいアノテーションによる制限）を解決すること。
• 人的労力とアノテーションの粒度に制限を受ける、現在の主流である学習によるアノテーションパラダイムに挑戦し、全知覚的完全性に到達できないことの理由を明らかにすること。
• コン pact な特徴からのデータ再構成に重点を置いた、新しい事前学習目的「学習による圧縮」を提案すること。これにより、より豊かな表現学習が可能になる。
• 研究の焦点を、精度とモデルの複雑さの最適化から、圧縮効率と再構成品質の最適化へとシフトすべきであることを提唱すること。
• 弱い教師信号と階層的回復を統合することで、生成的および判別的機能を統合し、視覚表現学習の新しい方向性を提示すること。

提案手法

• 視覚的事前学習を圧縮タスクとして定式化する：エンコーダーは画像 𝑥 をコン pact な特徴ベクトル f(𝑥) にマップし、デコーダー g(𝑓(𝑥)) が元の画像を再構成する。
• 再構成誤差を最小化するようにエンコーダーとデコーダーを同時に最適化し、忠実度を測定する回復評価関数 r(𝑥′, 𝑥) を使用する。
• 完全なインスタンスレベルのラベルを必要とせず、圧縮効率の向上を図るために、意味的アノテーションを弱い教師信号として統合する。
• PSNR や SSIM といったピクセル単位の指標に依存するのではなく、知覚的品質を反映するように評価関数 r(⋅,⋅) を設計する。
• 視覚的データの階層的構造を活用することで、生成的再構成と判別的学習を統合し、低レベルおよび高レベルの両方の表現を学習可能にする。
• 大規模データセットを用いてスーパーネットまたはダイナミックルーティングネットワークを事前学習し、少数ショットのシナリオでサブアーキテクチャの選択によりドメイン固有のファインチューニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 現在のアノテーションベースのパラダイムのもとでは、人間が認識可能なすべての知覚的要素を認識できる視覚認識システムは可能か？
• RQ2 なぜ現在の学習によるアノテーションアプローチでは、視覚認識における知覚的完全性を達成できないのか？
• RQ3 オブジェクトレベルのアノテーションを超えて、階層的かつマルチスケールの視覚的意味を捉えることができる事前学習タスクはどのように設計できるか？
• RQ4 再構成品質は視覚表現学習の向上にどのような役割を果たすのか？また、どのように評価すべきか？
• RQ5 圧縮と回復の目的が、多様なビジョンタスクにおける一般化を可能にするために、従来の精度と複雑さのトレードオフを上回る可能性は存在するか？

主な発見

• 人間が認識可能な微細な階層的視覚的要素（例：体の部位、指、テクスチャ）ですら、広範な人的アノテーションが施された状態でも、現在の視覚認識システムはそれを捉えられていない。
• 学習による圧縮フレームワークにより、圧縮と再構成忠実度の両方を最適化することで、コン pact かつ意味的に豊かな表現をモデルが学習可能になる。
• 評価関数 r(⋅,⋅) は極めて重要であり、PSNR や SSIM といった基本的なピクセル統計に依存するのは不十分であり、知覚的品質を捉えるのに不適切で、学習プロセスを誤導する可能性がある。
• 意味的アノテーションを弱い教師信号として使用することで、完全なインスタンスレベルのラベルを必要とせず、圧縮効率を向上させることができ、意味のある視覚的コンテンツの保持能力が向上する。
• 本手法では、再構成と弱い教師信号を統合することで、生成的および判別的学習を統合し、より安定的かつ一般化性の高い表現が得られる。
• スーパーネットにおける動的サブアーキテクチャ選択により、少数ショットの適応が可能であり、ファインチューニングシナリオにおけるドメインシフトの緩和に有効である。