[論文レビュー] A Possible Reason for why Data-Driven Beats Theory-Driven Computer Vision

John K. Tsotsos, Iuliia Kotseruba+2 more|arXiv (Cornell University)|Aug 28, 2019

Visual Attention and Saliency Detection参考文献 49被引用数 5

ひとこと要約

この論文は、コンピュータビジョンにおけるデータ駆動型ディープラーニングの優位性が、単にアルゴリズムの優位性によるものではなく、実験的バイアスに起因すると主張している。理論駆動型のアルゴリズムは、最適な動作範囲外のセンサ設定（例：シャッタースピード、ゲイン）でテストされた一方、データ駆動型モデルは同じ分布で訓練された。その結果、ディープラーニングに有利に歪んだ性能差が生じ、公平な比較を損なう、実験的手法における体系的な見落としを露呈している。

ABSTRACT

Why do some continue to wonder about the success and dominance of deep learning methods in computer vision and AI? Is it not enough that these methods provide practical solutions to many problems? Well no, it is not enough, at least for those who feel there should be a science that underpins all of this and that we should have a clear understanding of how this success was achieved. Here, this paper proposes that the dominance we are witnessing would not have been possible by the methods of deep learning alone: the tacit change has been the evolution of empirical practice in computer vision and AI over the past decades. We demonstrate this by examining the distribution of sensor settings in vision datasets and performance of both classic and deep learning algorithms under various camera settings. This reveals a strong mismatch between optimal performance ranges of classical theory-driven algorithms and sensor setting distributions in the common vision datasets, while data-driven models were trained for those datasets. The head-to-head comparisons between data-driven and theory-driven models were therefore unknowingly biased against the theory-driven models.

研究の動機と目的

• 理論的基盤が強いにもかかわらず、データ駆動型ディープラーニングモデルが理論駆動型コンピュータビジョン手法を常に上回っている理由を調査すること。
• コンピュータビジョンアルゴリズムのベンチマーク手法において、理論駆動型モデルが体系的に不利な立場に置かれていないかを検証すること。
• 一般的なビジョンデータセットにおけるカメラセンサ設定（例：シャッタースピード、ゲイン）の分布と、それらがアルゴリズムのパフォーマンスに与える影響を分析すること。
• 理論駆動型アルゴリズムが本質的な欠陥があるためではなく、最適動作範囲外でテストされているため、性能が著しく低下していることを示すこと。
• センサおよびイメージングパラメータを明確に規定することで、公平で再現可能かつ厳密な実験的手法を採用するべきだと提言すること。

提案手法

• CCDおよびCMOSセンサを用いて、異なる照度レベルでシャッタースピードおよび電圧ゲインの制御された変動を含むデータセットを収集した。
• センサおよび照明条件を変化させた状態で、複数の特徴点検出およびサリエンシー検出アルゴリズムのパフォーマンス感受性を評価した。
• 主な公開データセット（例：PASCAL VOC、ImageNet）におけるセンサ設定の分布を分析し、理論駆動型アルゴリズムの最適動作範囲と一致しているかどうかを検証した。
• 同じ画像分布上でデータ駆動型および理論駆動型モデルのパフォーマンスを比較し、センサパラメータの不一致が結果に与える影響を重点的に分析した。
• ヘッド・トゥ・ヘッド比較を用いて、データセットの分布がアルゴリズムパフォーマンスに与える影響を隔離し、特にトレーニングとテスト条件の不一致に注目した。
• センサおよびイメージングパラメータ範囲を明示的に規定することで、公平なアルゴリズムベンチマーク評価を実現するフレームワークを提言した。

実験結果

リサーチクエスチョン

• RQ1 理論的基盤が強いにもかかわらず、データ駆動型モデルがコンピュータビジョンベンチマークで一貫して理論駆動型モデルを上回っているのはなぜか？
• RQ2 シャッタースピード、ゲインなどのセンサ設定が、古典的な理論駆動型コンピュータビジョンアルゴリズムのパフォーマンスにどの程度影響を与えるか？
• RQ3 広く使われているビジョンデータセットにおけるセンサパラメータの分布は、理論駆動型アルゴリズムの最適動作範囲を適切に反映しているか？
• RQ4 トレーニングデータの分布とテスト条件の不一致が、コンピュータビジョンにおけるアルゴリズムパフォーマンス評価にどの程度バイアスをもたらしているか？
• RQ5 データ駆動型と理論駆動型アプローチの間で、公平で再現可能であるためには、どのような実験的手法の変更が必要か？

主な発見

• 理論駆動型アルゴリズムは、シャッタースピードやゲインなどの特定の明確に定義されたセンサ設定範囲内でのみ優れたパフォーマンスを示し、それ以外では著しく劣化する。
• PASCAL VOC や ImageNet といった主要なビジョンデータセットにおけるセンサ設定の分布は、偏りが強く、理論駆動型アルゴリズムの最適動作範囲と一致しない。
• データ駆動型モデルは、同じ偏ったデータセット分布で訓練されたため、ベンチマーク評価においても本質的な優位性を有しており、同じデータでテストされた場合でもその優位性は維持される。
• トレーニングとテストの間でセンサ設定の不一致が生じていたため、データ駆動型と理論駆動型モデルのヘッド・トゥ・ヘッド比較は、無自覚に理論駆動型に不利なバイアスを含んでいた。
• 理論駆動型アルゴリズムが最適動作範囲内でテストされた場合、データ駆動型と理論駆動型モデルのパフォーマンス差は顕著に縮小する。
• 実験的評価においてセンサおよびイメージングパラメータの体系的制御が欠如しているため、コンピュータビジョンにおけるベンチマーク評価の再現可能性と公平性が損なわれている。