[論文レビュー] Quantifying contribution and propagation of error from computational steps, algorithms and hyperparameter choices in image classification pipelines

Aritra Chowdhury, Malik Magdon‐Ismail+1 more|arXiv (Cornell University)|Feb 21, 2019

Machine Learning and Data Classification参考文献 27被引用数 4

ひとこと要約

本論文は、アウェアネスのないおよび単純なベンチマーク手法を用いて、画像分類パイプラインにおける誤差寄与度と伝播を定量化するための新規フレームワークを提案する。実験の結果、ランダムサーチがベイズ最適化を上回り、誤差寄与度と伝播の推定において高い正確性を示した。これにより、データサイエンティストは、特定の改善を要するパイプライン部品を特定できる。

ABSTRACT

Data science relies on pipelines that are organized in the form of interdependent computational steps. Each step consists of various candidate algorithms that maybe used for performing a particular function. Each algorithm consists of several hyperparameters. Algorithms and hyperparameters must be optimized as a whole to produce the best performance. Typical machine learning pipelines consist of complex algorithms in each of the steps. Not only is the selection process combinatorial, but it is also important to interpret and understand the pipelines. We propose a method to quantify the importance of different components in the pipeline, by computing an error contribution relative to an agnostic choice of computational steps, algorithms and hyperparameters. We also propose a methodology to quantify the propagation of error from individual components of the pipeline with the help of a naive set of benchmark algorithms not involved in the pipeline. We demonstrate our methodology on image classification pipelines. The agnostic and naive methodologies quantify the error contribution and propagation respectively from the computational steps, algorithms and hyperparameters in the image classification pipeline. We show that algorithm selection and hyperparameter optimization methods like grid search, random search and Bayesian optimization can be used to quantify the error contribution and propagation, and that random search is able to quantify them more accurately than Bayesian optimization. This methodology can be used by domain experts to understand machine learning and data analysis pipelines in terms of their individual components, which can help in prioritizing different components of the pipeline.

研究の動機と目的

• 画像分類パイプラインにおける全体のパイプライン誤差に寄与する個々のコンポーネント（計算ステップ、アルゴリズム、ハイパーパramータ）の寄与度を体系的かつ解釈可能に定量化する手法を開発すること。
• 誤差がパイプライン全体を通じてどのように伝播するか、特に初期段階から後続段階へと伝播するメカニズムを分析するフレームワークを構築すること。
• グリッドサーチ、ランダムサーチ、ベイズ最適化といった最適化戦略の、誤差寄与度と伝播の推定における有効性を評価・比較すること。
• 誤差生成および伝播の観点から、最も影響力を持つコンポーネントを特定することで、ドメインエキスパートがパイプラインのパフォーマンスを解釈可能な形で理解できるイン사이트を提供すること。

提案手法

• 各コンポーネント（ステップ、アルゴリズム、ハイパーパramータ）をランダムまたはベースライン選択に置き換えることで、誤差寄与度を計算する「アウェアネスのない手法」を提案する。
• パイプラインに含まれないベンチマークアルゴリズムを用いて、各コンポーネントからの誤差伝播をモデル化する「単純な手法」を導入する。
• ハイパーパラメータ空間を探索し、誤差寄与度を推定するために、グリッドサーチ、ランダムサーチ、ベイズ最適化を最適化エンジンとして採用する。
• 各パイプライン段階における誤差を定量化するために、交差エントロピー損失と正答率を評価指標として使用する。
• 異なる最適化手法による誤差寄与度および伝播の推定値を比較し、その信頼性と効率性を評価する。
• 実データセットと標準モデルを用いて、画像分類パイプラインにフレームワークを適用し、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 個々のコンポーネント（ステップ、アルゴリズム、ハイパーパラメータ）が全体のパイプライン誤差に与える寄与度を、体系的かつ解釈可能な方法でどのように定量化できるか？
• RQ2 誤差は、特徴抽出などの初期段階から、分類などの後続段階へとどの程度伝播するか？
• RQ3 グリッドサーチ、ランダムサーチ、ベイズ最適化といった異なるハイパーパラメータ最適化戦略は、誤差寄与度および伝播の推定において、どの程度の性能を示すか？
• RQ4 ランダムサーチは、誤差寄与度および伝播の推定において、グリッドサーチの信頼できる代替手段として機能できるか？
• RQ5 一般的な画像分類パイプラインにおいて、異なるコンポーネント間で誤差寄与度と伝播値はどの程度相関するか？

主な発見

• ランダムサーチは、ハイパーパラメータ空間の広範な領域をサンプリングできる点を活かし、ベイズ最適化に比べて誤差寄与度の推定がより正確である。
• 誤差伝播分析の結果、誤差の大半は特徴抽出アルゴリズムに起因し、次に特徴変換ステップが続くことが判明した。これは、初期段階のコンポーネントが誤差の主な発生源であることを示している。
• 誤差伝播値は誤差寄与度値に比例しており、パイプライン内の誤差フローをモデル化する本手法の整合性が裏付けられた。
• ランダムサーチは、誤差寄与度および伝播の推定において、グリッドサーチの効果的かつ高速な代替手段として機能できる。
• ベイズ最適化は、逐次的かつグリーディーな性質により探索が制限され、偏った推定値を生じるため、誤差寄与度推定において性能が劣る。
• アウェアネスのない手法と単純な手法により、ドメインエキスパートはパイプラインの挙動を解釈可能に理解でき、チューニングの優先順位を明確にし、パイプラインの効率性とパフォーマンスを向上させることができる。