[論文レビュー] Information-theoretic Semi-supervised Metric Learning via Entropy Regularization

Gang Niu, Bo Dai+2 more|arXiv (Cornell University)|Jun 18, 2012

Face and Expression Recognition参考文献 17被引用数 19

ひとこと要約

この論文では、ラベル付きデータ上でエントロピーを最大化し、ラベルなしデータ上でエントロピーを最小化するエントロピー正則化を用いて、教師ありと教師なしの信号を自然に統合する、情報理論的半教師ありメトリック学習フレームワークであるSeraphを提案する。この手法は低ランクのマハラノビス距離を用い、効率的なEMに類似た最適化を実行し、ベンチマークデータセットにおいて、複数のグローバルおよびローカルメトリック学習ベースラインを上回る性能を発揮する。

ABSTRACT

We propose a general information-theoretic approach called Seraph (SEmi-supervised metRic leArning Paradigm with Hyper-sparsity) for metric learning that does not rely upon the manifold assumption. Given the probability parameterized by a Mahalanobis distance, we maximize the entropy of that probability on labeled data and minimize it on unlabeled data following entropy regularization, which allows the supervised and unsupervised parts to be integrated in a natural and meaningful way. Furthermore, Seraph is regularized by encouraging a low-rank projection induced from the metric. The optimization of Seraph is solved efficiently and stably by an EM-like scheme with the analytical E-Step and convex M-Step. Experiments demonstrate that Seraph compares favorably with many well-known global and local metric learning methods.

研究の動機と目的

• 多様体仮定に依存しない半教師ありメトリック学習アプローチの開発を目的とする。
• マハラノビス距離でパrameter化された確率分布に対してエントロピー正則化を適用し、教師ありと教師なしの信号を統合することを目的とする。
• 正則化を用いてメトリックに低ランク構造を促進させ、一般化性能の向上と次元削減を図ることを目的とする。
• 提案されたフレームワークのための効率的で安定した最適化スキームの設計を目的とする。
• 既存のグローバルおよびローカルメトリック学習手法に対して優れた性能を示すことを目的とする。

提案手法

• この手法はマハラノビス距離を用いて確率分布をパラメータ化し、データポイント間の類似度を定義する。
• エントロピー正則化を適用し、ラベル付きデータではエントロピーを最大化し、ラベルなしデータではエントロピーを最小化することで、ラベル付きデータでの不確実性とラベルなしデータでの信頼性を促進する。
• 核ノルム正則化を用いてメトリックに低ランク構造を促進させ、複雑さの低減と一般化性能の向上を図る。
• 解析的Eステップと凸なMステップを備えたEMに類似た最適化アルゴリズムを用い、安定的かつ効率的な収束を実現する。
• アルゴリズムは、潜在分布の推定（Eステップ）とマハラノビス行列の更新（Mステップ）を、原理的かつ交互に繰り返す。
• 理論的根拠を情報理論と半教師あり学習に置き、スケーラブルで頑健なフレームワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 多様体仮定に依存せずに、エントロピー正則化が教師ありと教師なしの学習信号を効果的に統合できるか？
• RQ2 ラベル付きデータでのエントロピー最大化とラベルなしデータでのエントロピー最小化が、メトリックの一般化をどのように向上させるか？
• RQ3 マハラノビス行列に対する低ランク正則化が、性能と安定性をどの程度向上させるか？
• RQ4 EMに類似た最適化スキームが、提案されたフレームワークにおいて収束性と効率性をどのように保証するか？
• RQ5 Seraphは、既存のグローバルおよびローカルメトリック学習手法と比較して、どの程度優れた性能を示すか？

主な発見

• Seraphは、複数のベンチマークデータセットで最先端の性能を達成し、広く知られたグローバルおよびローカルメトリック学習手法を上回る。
• エントロピー正則化戦略は、ラベル付きおよびラベルなしデータの両方を効果的に活用し、完全に教師ありまたは教師なしのアプローチを凌駆する一般化性能の向上を実現した。
• 低ランク正則化部は、特に低データ環境下で、より高い頑健性と過学習の低減に寄与した。
• EMに類似た最適化スキームは、解析的Eステップと凸なMステップのおかげで、安定的かつ効率的に収束し、信頼性の高い学習が可能となった。
• 実験的結果は、多様なデータセットにおいて一貫した性能向上を示し、情報理論的定式化の有効性を確認した。
• 低次元多様体構造を仮定しないにもかかわらず、本手法は優れた一般化性能を示し、適用範囲を広げた。