[論文レビュー] Horizontal and Vertical Ensemble with Deep Representation for Classification

Jingjing Xie, Bing Xu+1 more|arXiv (Cornell University)|Jun 12, 2013

Generative Adversarial Networks and Image Synthesis参考文献 10被引用数 53

ひとこと要約

本稿では、限られたラベル付きデータと豊富なラベルなしデータを用いて深層ニューラルネットワーク分類を向上させるために、水平投票、垂直投票、水平スタックアンサンブル手法を提案する。中間層の表現を活用し、訓練エポック間での予測のアンサンブル化により、堅牢性と精度が著しく向上し、ICML 2013 ブラックボックスチャレンジの公開テストセットで68.54％の精度を達成した。これは上位の結果の一つである。

ABSTRACT

Representation learning, especially which by using deep learning, has been widely applied in classification. However, how to use limited size of labeled data to achieve good classification performance with deep neural network, and how can the learned features further improve classification remain indefinite. In this paper, we propose Horizontal Voting Vertical Voting and Horizontal Stacked Ensemble methods to improve the classification performance of deep neural networks. In the ICML 2013 Black Box Challenge, via using these methods independently, Bing Xu achieved 3rd in public leaderboard, and 7th in private leaderboard; Jingjing Xie achieved 4th in public leaderboard, and 5th in private leaderboard.

研究の動機と目的

• ラベル付き例が非常に少ない状況下で、深層ニューラルネットワーク分類の性能を向上させること。
• 深層アーキテクチャが得る階層的表現が、最終層の特徴を越えて分類性能を向上させるかどうかを調査すること。
• 複数の表現および複数の予測ポイントを活用するアンサンブル戦略を開発し、堅牢性と精度を向上させること。
• 低データ環境下における垂直および水平アンサンブル技術の有効性を評価すること。
• 実世界の分類課題において、深層ネットワークアンサンブルの最適な組み合わせ戦略を特定すること。

提案手法

• 垂直投票は、深層ネットワークの各中間層（例：h5, h6, h7）の表現に別個の分類器を訓練し、各層で抽出された特徴量に対してランダムフォレストや類似のアルゴリズムを適用する。
• 水平投票は、同じネットワークが複数の訓練エポック（例：650–850）で得た予測を集約し、投票によって分散と過学習を低減する。
• 水平スタックアンサンブルは、異なるハイパーパramータや初期化で学習された複数のモデルの予測を統合し、ソフトマックス出力に対してメタ分類器（例：ランダムフォレスト）を適用する。
• 深層ネットワークは、13万件のラベルなし例を用いて5つのノイズ除去オートエンコーダーで事前学習を行い、その後、1,000件のラベル付き例を用いて確率的勾配降下法で微調整する。
• アンサンブル手法は、複数のモデルやエポックからのソフトマックス確率出力に対して投票またはメタラーニングを適用し、一般化性能を向上させる。
• このフレームワークは、非教師あり事前学習と教師あり微調整を統合し、深さおよび訓練時間にわたる多様な表現を活用する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークの中間層表現は、最終層の特徴を越えて分類性能を向上させることができるか？
• RQ2 異なる訓練エポックでの予測をアンサンブル化すること（水平投票）は、分散を低減し、堅牢性を向上させるか？
• RQ3 複数の層での垂直アンサンブル（複数層）と複数エポックでの水平アンサンブル（複数エポック）を組み合わせることで、低データ環境下でどの程度の効果が得られるか？
• RQ4 ソフトマックス出力に基づいて学習されたメタアンサンブルモデルは、個々の深層ネットワークを上回る性能を示せるか？
• RQ5 深さおよび訓練時間にわたる表現の多様性が、最終的な分類精度に与える影響は何か？

主な発見

• 水平投票は、公開テストセットで68.22％の精度、プライベートテストセットで67.24％の精度を達成し、個々のモデルを上回った。
• 最高の全体的な結果は、200個のソフトマックス出力（モデル6）をランダムフォレストメタアンサンブルで統合した結果であり、公開テストセットで68.54％、プライベートテストセットで67.44％の精度を達成した。
• 水平投票のみを用いたモデル4は、公開テストセットで最高の精度68.22％を記録し、ICML 2013 ブラックボックスチャレンジで上位入賞の一つとなった。
• 垂直投票は一貫性のない性能を示し、一部のケースでは向上したが安定せず、水平投票と組み合わせた場合、過学習が生じ、プライベートセットの性能が低下した。
• 異なる訓練エポックからの200個の予測をアンサンブル化することで、誤差率の振動が著しく低減され、一般化性能が向上した。これは時間的多様性の価値を示している。
• 深層表現と水平投票を組み合わせる手法は、垂直投票やハイブリッドアプローチよりも、特に低データ環境下でより効果的であることが判明した。