[論文レビュー] Deep Nets: What have they ever done for Vision?

Alan Yuille, Chenxi Liu|arXiv (Cornell University)|May 10, 2018

Visual Attention and Saliency Detection参考文献 120被引用数 19

ひとこと要約

この論説は、コンピュータビジョン分野における深層ニューラルネットワーク（DNNs）を批判的に評価しており、ベンチマークデータセットにおける成功にもかかわらず、自然画像の組み合わせ的複雑性を解消するには不十分であると主張している。著者たちは、性能評価の見直しが必要であり、合成的・生成的・ハイブリッドな信号記号的アプローチの強化によって、一般化性と耐性の現在の限界を克服すべきだと提言している。

ABSTRACT

This is an opinion paper about the strengths and weaknesses of Deep Nets for vision. They are at the heart of the enormous recent progress in artificial intelligence and are of growing importance in cognitive science and neuroscience. They have had many successes but also have several limitations and there is limited understanding of their inner workings. At present Deep Nets perform very well on specific visual tasks with benchmark datasets but they are much less general purpose, flexible, and adaptive than the human visual system. We argue that Deep Nets in their current form are unlikely to be able to overcome the fundamental problem of computer vision, namely how to deal with the combinatorial explosion, caused by the enormous complexity of natural images, and obtain the rich understanding of visual scenes that the human visual achieves. We argue that this combinatorial explosion takes us into a regime where "big data is not enough" and where we need to rethink our methods for benchmarking performance and evaluating vision algorithms. We stress that, as vision algorithms are increasingly used in real world applications, that performance evaluation is not merely an academic exercise but has important consequences in the real world. It is impractical to review the entire Deep Net literature so we restrict ourselves to a limited range of topics and references which are intended as entry points into the literature. The views expressed in this paper are our own and do not necessarily represent those of anybody else in the computer vision community.

研究の動機と目的

• コンピュータビジョンにおける深層ニューラルネットワーク（DNNs）の強みと限界、特に一般化性と耐性に関する批判的評価を行う。
• ImageNetなどのベンチマークデータセットで高い性能を示すことが、物体認識問題が解決されたことを示すという仮定に疑問を呈する。
• データセットバイアスのリスクと、現在の評価手法が現実世界の性能を予測するのに不十分である点を強調する。
• DNNsが現在の形では、自然画像理解に内在する組み合わせ的爆発の問題を克服することは難しいと主張する。
• 人間の視覚系の能力を模倣した評価フレームワークの構築を呼びかける。具体的には、敵対的テストや合成的推論を含む。

提案手法

• 現実世界の視覚的状況の複雑性を反映する、より厳しく現実的であるべきベンチマークを用いて、ビジョンアルゴリズムを再評価することを提言する。
• テスト時に画像を変更する敵対的テストを推奨し、アルゴリズムの弱みを突き止める。
• 信号処理と記号的推論を組み合わせたハイブリッドモデルの開発を提言することで、一般化性と解釈可能性を向上させる。
• 発達的文献からの知見を学習フレームワークに取り入れることで、より柔軟で適応的な視覚理解を可能にする。
• ビッグデータやベンチマーク中心の評価から脱却し、耐性と合成的一般化をテストする方法への移行の重要性を強調する。
• 特に高リスクな応用分野において、現実世界の展開条件をより的確に反映する性能評価フレームワークの構築を提言する。

実験結果

リサーチクエスチョン

• RQ1 現在のベンチマークデータセットは、自然画像理解の現実世界の複雑性をどれほど正確に反映しているのか？
• RQ2 深層ネットワークは、学習データの分布外の未観測な視覚的構成に効果的に一般化できるのか？
• RQ3 標準的なタスクで高い性能を示しても、なぜDNNsは人間の視覚系の柔軟性と適応性を達成できないのか？
• RQ4 現実世界の性能をより的確に予測し、モデルに隠れたバイアスを特定できるような評価プロトコルはどのように設計できるか？
• RQ5 視覚認識における組み合わせ的爆発を克服するには、どのような代替アーキテクチャや学習パラダイムが必要か？

主な発見

• ImageNetのようなベンチマークデータセットでのパフォーマンスは、物体認識が解決済みであることを示すものではなく、その範囲が限定的で現実世界の複雑性を反映していない可能性がある。
• DNNsは分布シフトや敵対的摂動に対して脆弱であり、標準テストでは高い正確性を示しても耐性に欠けることが示されている。
• 自然画像の変異の組み合わせ的爆発のため、現在の評価手法は現実世界のパフォーマンスを予測するのに不十分である。
• 人間の視覚系は、合成的・生成的プロセスを通じて、豊かで柔軟なシーン理解を達成しているが、現在のDNNsはその能力を欠いている。
• 十分な検証が行われないまま、ビジョンシステムが現実世界の応用に導入されるリスクが高まっている。バイアスや誤用に関する倫理的懸念が生じる。
• 著者たちは、DNNsだけでは一般化された視覚理解を達成できないと結論づけ、今後の進展にはハイブリッド的・合成的・生成的アプローチが不可欠であると主張している。