[論文レビュー] A simple technique for improving multi-class classification with neural networks

Thomas Kopinski, Alexander Gepperth+1 more|arXiv (Cornell University)|Jan 6, 2016

Hand Gesture Recognition Systems参考文献 9被引用数 5

ひとこと要約

本論文は、1対すべて（OAA）ネットワークがクラススコアを生成し、それを2番目のネットワークで生の入力と融合する2段階のニューラルネットワーク統合手法を提案する。この手法により、全体の正確性が2–3%向上し、識別が難しいジェスチャーでは顕著な向上が見られ、最も曖昧なクラスでは最大4.8%の向上が達成された。

ABSTRACT

We present a novel method to perform multi-class pattern classification with neural networks and test it on a challenging 3D hand gesture recognition problem. Our method consists of a standard one-against-all (OAA) classification, followed by another network layer classifying the resulting class scores, possibly augmented by the original raw input vector. This allows the network to disambiguate hard-to-separate classes as the distribution of class scores carries considerable information as well, and is in fact often used for assessing the confidence of a decision. We show that by this approach we are able to significantly boost our results, overall as well as for particular difficult cases, on the hard 10-class gesture classification task.

研究の動機と目的

• 視覚的・空間的曖昧さにより、クラス間の類似度が非常に高い複雑で曖昧なジェスチャー認識タスクにおける多クラス分類の課題に対処すること。
• 視覚的・空間的曖昧さが顕著な10クラスの3次元手のジェスチャー認識という、特に困難なベンチマークにおいて、ニューラルネットワークの一般化性能を向上させること。
• 再トレーニングやアーキテクチャの再設計を必要とせず、意思決定の信頼性と曖昧性の解消を高める実用的で学習可能な統合メカニズムを開発すること。
• 15名の被験者から得た45万件のサンプルを含む大規模な実世界データセットを用いて評価し、個人間での堅牢性と一般化性能を確保すること。

提案手法

• まず、標準的な1対すべて（OAA）の多層パーセプトロン（MLP）が、3層構造の全結合層を用いて入力記述子を10クラスのスコアに分類する。
• 次に、2番目のMLPが、元の点群記述子と最初のネットワークの出力であるクラススコアの両方を入力とし、生の特徴量と信頼度情報の統合を可能にする。
• 統合層は生の入力とクラススコアを組み合わせ、曖昧なクラス間の複雑な意思決定境界を学習可能にする。
• 2段階のネットワークは、3部に分割されたデータで訓練される：40%を訓練用（D1およびD2）、20%を一般化用（D3）、内部で9:1の訓練/テスト分割を用いて監視を行う。
• 評価は、被験者ごとに独立した交差検証を用い、各被験者は訓練時に除外され、未知のデータ上で性能が測定される。
• 本手法は大規模な3次元手のジェスチャーデータセット上で検証され、標準的な単一ネットワークベースラインと比較され、15名の被験者と10クラスのジェスチャーで結果が報告されている。

実験結果

リサーチクエスチョン

• RQ1 1対すべてネットワークからのクラススコアと生の入力を統合することで、曖昧なジェスチャー認識における多クラス分類性能が向上するか？
• RQ2 提案された2段階アーキテクチャは、標準的な単一ネットワークアプローチと比較して、識別が難しいジェスチャークラスにおける分類誤差を顕著に低減するか？
• RQ3 信頼度スコア（クラス出力）と生の特徴量の統合は、実世界の設定における異なる被験者間でのモデル一般化性能にどのように影響するか？
• RQ4 信頼度に基づく誤検出の除外が可能であるため、リアルタイムシステムにおける認識性能の安定化に寄与するか？
• RQ5 隠れ層サイズを変化させた場合、統合手法の性能向上にどのような影響が生じるか？

主な発見

• 2段階の統合ネットワークは、ベースラインの単一ネットワークOAAアプローチと比較して、全体の分類正確性を2–3%向上させ、最も曖昧なジェスチャーでは最大4.8%の向上を達成した。
• 識別が特に難しいとされたジェスチャークラスbとiでは、それぞれ4.8%および4.7%の認識率向上が確認され、困難なケースにおける顕著な改善が示された。
• 10クラス中8クラスで統合手法が認識率を向上させたが、クラスcとdではそれぞれ-2.1%および-2.8%のわずかな低下が見られた。
• 被験者に依存しない分割での評価では、統合モデルが87%の正確性を達成したのに対し、ベースラインは86%であった。これにより、データ分割にかかわらず一貫した向上が確認された。
• 隠れ層サイズ（40、25、20ニューロン）の変化に対しても、本手法は頑健であり、小さなアーキテクチャでも一貫した向上が得られた。
• 本手法は、リアルタイムの手のジェスチャー認識システムに成功裏に統合され、意思決定の安定性が向上し、誤検出の信頼度に基づく除外が可能になった。