[論文レビュー] The minimum information principle for discriminative learning

Amir Globerson, Naftali Tishby|arXiv (Cornell University)|Jul 7, 2004

Statistical Mechanics and Entropy参考文献 14被引用数 19

ひとこと要約

本稿では、分類における判別的学習のための最大エントロピーの代替として、最小相互情報量（MMI）を優れた原理として提案する。入力とラベルの間に相互情報量を最適化することで、フレームワークは最大エントロピーを一般化し、ゲーム理論的解釈を可能にし、ベンチマークタスクにおいて最大エントロピーモデルを上回る分類性能を達成する。

ABSTRACT

Exponential models of distributions are widely used in machine learning for classification and modelling. It is well known that they can be interpreted as maximum entropy models under empirical expectation constraints. In this work, we argue that for classification tasks, mutual information is a more suitable information theoretic measure to be optimized. We show how the principle of minimum mutual information generalizes that of maximum entropy, and provides a comprehensive framework for building discriminative classifiers. A game theoretic interpretation of our approach is then given, and several generalization bounds provided. We present iterative algorithms for solving the minimum information problem and its convex dual, and demonstrate their performance on various classification tasks. The results show that minimum information classifiers outperform the corresponding maximum entropy models.

研究の動機と目的

• 最大エントロピーモデルの判別的分類における限界を是正するため、より適切な情報理論的原理を提案すること。
• 特に分類タスクにおいて、相互情報量を判別的学習の最適基準とする根拠を確立すること。
• 最小相互情報量の原理を通じて最大エントロピーを一般化する統一的フレームワークを構築すること。
• ゲーム理論と一般化バウンドを用いて、提案手法の理論的基盤を提供すること。
• 実用的実装を可能にするために、最小情報量問題とその凸双対問題を解く反復的アルゴリズムを設計すること。

提案手法

• 判別的分類器の最適化目的として、最小相互情報量（MMI）原理を提案する。
• MMIフレームワークにゲーム理論的解釈を導出し、分類をミニマックスゲームとして定式化する。
• プライマル最小情報量問題とその凸双対問題を解く反復的アルゴリズムを開発する。
• 最大エントロピーと同様に、経験的期待値制約を用いてモデル空間を定義するが、相互情報量の最小化に基づく。
• 凸双対性を用いて、反復的ソルバーに適した取り扱いやすい最適化定式化を導出する。
• さまざまな分類タスクにフレームワークを適用し、性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 相互情報量は、判別的分類においてエントロピーよりも適切な情報理論的基準として機能できるか？
• RQ2 最小相互情報量原理は、分類において最大エントロピー原理をどのように一般化するか？
• RQ3 最小相互情報量原理に基づいて学習された分類器の理論的性質（一般化バウンドなど）は何か？
• RQ4 最小情報量問題を解く反復的アルゴリズムは、最大エントロピーモデルと比較して実際の性能でどのように振る舞うか？
• RQ5 最小相互情報量フレームワークのゲーム理論的解釈は何か？

主な発見

• 最小相互情報量フレームワークは、最大エントロピー原理を一般化し、判別的学習のより適切な基盤を提供する。
• 提案された最小相互情報量に基づく分類器は、さまざまな分類タスクで最大エントロピーモデルを上回る性能を示す。
• ゲーム理論的解釈により、判別的学習に新たな視点が与えられ、敵対的最適化と結びつく。
• 一般化バウンドが導出され、フレームワークの頑健性に対する理論的根拠が得られる。
• プライマル問題と双対問題のための反復的アルゴリズムは収束し、実用的有効性を示す。
• 最小相互情報量に基づく包括的で情報理論的根拠を持つ代替手法が、実験的性能の向上とともに提供される。