[論文レビュー] Benchmarks for Image Classification and Other High-dimensional Pattern Recognition Problems

Tarun Yellamraju, Jonas Hepp+1 more|arXiv (Cornell University)|Jun 13, 2018

Machine Learning and Algorithms参考文献 15被引用数 3

ひとこと要約

本稿では、誤差と計算コストのトレードオフを用いて、高次元パターン認識問題の難易度を評価するベンチマークフレームワークを提案する。ランダムプロジェクションに基づくヒューリスティクスを導入し、分類誤差の上限を生成する。その漸近的挙動はベイズ誤差に収束するため、洗練された手法が単純なヒューリスティクスに構造的優位性を示さない問題を特定可能となる。

ABSTRACT

A good classification method should yield more accurate results than simple heuristics. But there are classification problems, especially high-dimensional ones like the ones based on image/video data, for which simple heuristics can work quite accurately; the structure of the data in such problems is easy to uncover without any sophisticated or computationally expensive method. On the other hand, some problems have a structure that can only be found with sophisticated pattern recognition methods. We are interested in quantifying the difficulty of a given high-dimensional pattern recognition problem. We consider the case where the patterns come from two pre-determined classes and where the objects are represented by points in a high-dimensional vector space. However, the framework we propose is extendable to an arbitrarily large number of classes. We propose classification benchmarks based on simple random projection heuristics. Our benchmarks are 2D curves parameterized by the classification error and computational cost of these simple heuristics. Each curve divides the plane into a "positive- gain" and a "negative-gain" region. The latter contains methods that are ill-suited for the given classification problem. The former is divided into two by the curve asymptote; methods that lie in the small region under the curve but right of the asymptote merely provide a computational gain but no structural advantage over the random heuristics. We prove that the curve asymptotes are optimal (i.e. at Bayes error) in some cases, and thus no sophisticated method can provide a structural advantage over the random heuristics. Such classification problems, an example of which we present in our numerical experiments, provide poor ground for testing new pattern classification methods.

研究の動機と目的

• 高次元パターン認識問題の難易度を定量化すること、特に画像および動画データにおいて。
• 洗練された分類手法が単純なヒューリスティクスに構造的優位性を示すかどうかを体系的に評価する方法を開発すること。
• 分類問題があまりに簡単である場合——すなわち、単純なランダムプロジェクションヒューリスティクスでもほぼ最適性能に達している——を特定し、新規手法のテストに不適切な状況を特定すること。
• 計算コストの削減のみをもたらす手法と、構造的改善をもたらす手法を区別する視覚的・分析的ベンチマーク平面を提供すること。
• データの内在的構造とクラス分離性を評価することで、研究者が新しいパターン認識アルゴリズムのテストに適切なデータセットを選択できるように支援すること。

提案手法

• 高次元データの1次元ランダムプロジェクションを用いて、分類誤差の上界を段階的に生成する。
• 各上界を計算コスト（例えば、プロジェクション数や意思決定木のレベル数）でパrameter化し、誤差-コスト平面におけるトレードオフ曲線を構築する。
• 単調減少する上界を用いることで、プロジェクション数の増加に伴いベイズ誤差に収束する信頼性を確保する。
• 各曲線の漸近的挙動（理論的最小誤差＝ベイズ誤差）を推定し、特定の条件下で最適性を証明する。
• ベンチマーク平面を可視化し、曲線の左側（上昇領域）を「正の利得」、右側（下降領域）を「負の利得」として領域に分けることで、手法の適切さを評価する。
• カルフネン＝ローブ係数を用いて実データセット（例：MFEAT、歩行者検出）にフレームワークを適用し、DNN や SVM などの最先端手法と結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 複雑なモデルに依存せずに、高次元パターン認識問題の難易度を客観的に定量化する方法は何か？
• RQ2 実世界のデータセットにおいて、単純なランダムプロジェクションヒューリスティクスがベイズ誤差にどの程度近づけるか？
• RQ3 ディープニューラルネットワークやSVMといった洗練された手法が、基本的なヒューリスティクスに構造的優位性を示すのはどのような状況か？
• RQ4 データの内在的構造が非常に容易に特定可能であるため、高度な手法が不要であるか、むしろ逆効果をもたらすデータセットはどのように特定できるか？
• RQ5 統一されたベンチマークフレームワークを用いて、パターン認識手法における計算コストの非効率性と構造的優位性の欠如をどのように区別できるか？

主な発見

• 提案されたベンチマーク曲線の漸近的挙動は、特定の条件下でベイズ誤差に収束し、フレームワークが分類誤差の理論的下界を特定していることを証明する。
• 偶数対奇数の数字分類問題では、漸近的挙動が約10%に推定され、データ構造が非自明であり、最適性能を得るには洗練された手法が必要であることを示している。
• ディープニューラルネットワークは、ベンチマークの漸近的挙動（約10%）から誤差を1.4%まで低下させ、この状況では7倍以上の構造的改善が示された。
• 歩行者検出問題では、テストされたすべての手法（DNN や SVM を含む）が「正の利得領域」に含まれず、ランダムプロジェクションによるデータ構造の特定が容易であったことを示しており、高レベルな手法に適さない単純な問題であった。
• フレームワークは、一般的に使用されるデータセットの多く——特に「0」と「1」の二値画像分類のような単純なタスク——が難易度が低く、新規パターン認識手法のテストに不適切であることを明確に特定した。
• 計算コストの増加に伴って上界が安定した漸近的挙動に収束する現象は、過学習に強いことを示し、真のデータ構造が正しく検出されていることを裏付けた。