[論文レビュー] Hyperparameter Optimization and Boosting for Classifying Facial Expressions: How good can a "Null" Model be?

James Bergstra, David Cox|arXiv (Cornell University)|Jun 14, 2013

Face and Expression Recognition参考文献 13被引用数 17

ひとこと要約

本論文は、'ノルマルモデル'—ランダムフィルタを備えた畳み込みネットワーク、PCA、プーリング、正規化を組み合わせたもの—を用いたハイパーパrameter最適化およびブースティングフレームワークを提示している。自動化されたTPE最適化を用いて、顔の感情認識チャレンジにおいて60%の精度を達成した。4つの最適化されたモデルをアンサンブル化することで、65.5%の精度に到達し、56名の参加者中5位となり、新しいアーキテクチャやバックプロパゲーションを用いずに、体系的なハイパーパrameterチューニングから優れた性能が得られることを示した。

ABSTRACT

One of the goals of the ICML workshop on representation and learning is to establish benchmark scores for a new data set of labeled facial expressions. This paper presents the performance of a "Null" model consisting of convolutions with random weights, PCA, pooling, normalization, and a linear readout. Our approach focused on hyperparameter optimization rather than novel model components. On the Facial Expression Recognition Challenge held by the Kaggle website, our hyperparameter optimization approach achieved a score of 60% accuracy on the test data. This paper also introduces a new ensemble construction variant that combines hyperparameter optimization with the construction of ensembles. This algorithm constructed an ensemble of four models that scored 65.5% accuracy. These scores rank 12th and 5th respectively among the 56 challenge participants. It is worth noting that our approach was developed prior to the release of the data set, and applied without modification; our strong competition performance suggests that the TPE hyperparameter optimization algorithm and domain expertise encoded in our Null model can generalize to new image classification data sets.

研究の動機と目的

• 新しい画像分類ベンチマークにおいて、バックプロパゲーションや教師なし事前学習を一切行わない、シンプルで学習を行わないモデル（ノルマルモデル）が、ランダムフィルタと標準的な前処理を用いてどの程度の性能を示すかを評価すること。
• 新しいデータセットに対して、自動化されたハイパーパrameter最適化が、熟練した専門家の直感を上回るモデル選択を可能にするかを調査すること。
• ハイパーパrameter最適化されたベースラーナーをアンサンブル化する新しいブースティングアルゴリズム（HyperBoost）を開発・適用し、一般化性能の向上を図ること。
• データ公開前に設計されたモデル空間が、新しい画像分類タスクにどの程度一般化できるかを評価すること。

提案手法

• 1層、2層、3層の畳み込みネットワークに対して、ガウス分布またはPCAに基づく射影から抽出されたランダムフィルタを用いた、238個の条件付きハイパーパrameterからなる構成空間を定義した。
• モデルパイプラインには、画像スケーリング、アフィンワープ、フィルタバンク正規化相互相関、局所プーリング、二段階ヒストグラム空間プーリング、L2-SVM分類器が含まれた。
• ハイパーパラメータ最適化には、構成空間上でベイズ最適化を実行するHyperoptのTree-structured Parzen Estimator (TPE) を使用し、1ラウンドあたり1,000個の非退化な構成を選択した。
• ハイパーパラメータ最適化されたモデルを弱学習器として扱い、順次選択・統合することでテスト精度を向上させる、新しいブースティングアルゴリズムであるHyperBoostを導入した。
• アンサンブル構築には、ヒンジ損失に基づくブースティングアプローチを用い、訓練精度を高く保ちながらテスト性能を段階的に改善した。
• すべての実験は、4つのGPUを搭載した1台のマシンで実施され、遅いファイルシステムを用い、トレーニング前に構成の退化を検証した。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションや教師なし事前学習を一切行わない、ランダムフィルタと標準的前処理を備えた'ノルマルモデル'が、新しい画像分類タスクで競争力のある性能を達成できるか？
• RQ2 TPEを用いた自動ハイパーパラメータ最適化が、新しいデータセットのモデル選択において、人間の直感をどの程度上回れるか？
• RQ3 ハイパーパラメータ最適化されたモデルのブースティングベースのアンサンブルが、最良の個別モデルを大幅に上回る一般化性能を達成できるか？
• RQ4 データ公開前に設計されたモデル空間が、新しい画像分類ベンチマークにどの程度一般化できるか？
• RQ5 高容量のベースラーナー（例：9,000の特徴量）において、ブースティングによる結合が過学習に与える影響は何か？

主な発見

• ハイパーパラメータ最適化を施したノルマルモデルは、顔の感情認識チャレンジで60%のテスト精度を達成し、56名中12位となった。
• HyperBoostを用いて構築した4つのモデルのアンサンブルは、65.5%の精度に到達し、コンテスト全体で5位となった。
• 個々のモデルの訓練精度は85%から97%の間であり、強い過学習が見られたが、アンサンブルは高い一般化性能を維持した。
• モデルおよびトレーニングパイプラインはデータ公開前に設計され、変更なしに適用されたため、強力な一般化能力を示した。
• アンサンブルの性能は、いかなる単一モデルよりも顕著に優れており、HyperBoostが最適化されたベースラーナーを効果的に統合できることを確認した。
• 結果から、ハイパーパラメータ最適化とアンサンブル構築により、バックプロパゲーションやRBMといった高度なディープラーニングコンponentsがなくても、高い性能が得られることを示唆している。