[論文レビュー] Directional Statistics in Machine Learning: a Brief Review

Suvrit Sra|arXiv (Cornell University)|May 1, 2016

Face and Expression Recognition参考文献 46被引用数 27

ひとこと要約

本稿は、機械学習における方向統計学について簡潔なレビューを提供しており、超球面上および射影空間上の単位ノルムベクトルをモデル化するためのvon Mises-Fisher (vMF)分布とWatson分布に焦点を当てている。最尤推定とEMに基づく混合モデル化の手法を提示し、ユークリッド法と比較して、テキストデータおよび軸対称データにおけるクラスタリング性能の向上を示している。

ABSTRACT

The modern data analyst must cope with data encoded in various forms, vectors, matrices, strings, graphs, or more. Consequently, statistical and machine learning models tailored to different data encodings are important. We focus on data encoded as normalized vectors, so that their "direction" is more important than their magnitude. Specifically, we consider high-dimensional vectors that lie either on the surface of the unit hypersphere or on the real projective plane. For such data, we briefly review common mathematical models prevalent in machine learning, while also outlining some technical aspects, software, applications, and open mathematical challenges.

研究の動機と目的

• 方向の重要性が大きくなる正規化されたデータをモデル化するための整合的な枠組みとして方向統計学を導入すること。
• 単位超球面および実射影空間上のデータに適した主要な分布、すなわちvon Mises-Fisher分布とWatson分布をレビューすること。
• これらの分布の混合モデルにおける最尤推定とEMアルゴリズムを提示すること。
• 特にテキストおよび軸対称データにおいて、方向統計モデルのクラスタリングタスクにおける有効性を示すこと。
• ベイジアンモデル、HMM、およびディープ生成モデルへの応用における未解決の課題と機会を強調すること。

提案手法

• 単位超球面 $\mathbb{S}^{p-1}$ 上のデータをモデル化するためにvon Mises-Fisher (vMF)分布を用い、平均方向 $\mu$ と集中度 $\kappa$ でパラメータ化し、密度関数を $p_{\text{vmf}}(x;\mu,\kappa) = c_p(\kappa) e^{\kappa \mu^T x}$ として定義する。
• 軸対称データ（$x$ と $-x$ が同一視される）をモデル化するため、$\mathbb{P}^{p-1}$ 上にWatson分布を適用し、密度関数を $p_{\text{wat}}(x;\mu,\kappa) = d_p(\kappa) e^{\kappa (\mu^T x)^2}$ として定義する。
• vMFおよびWatson分布の混合モデルにおけるパラメータ推定に、期待最大化（EM）アルゴリズムを用いる。
• クラスタリングの品質を外部評価指標として、正規化相互情報量（NMI）を用いる。
• vMF混合モデル（movMF）に対してソフト割り当てを用いたEMを実装し、実世界のデータにおいてLDAおよびEDCMと性能を比較する。
• Watson分布混合モデルのEMにおける極限ケースとして導かれる直径クラスタリングが、真の軸対称クラスタを回復できることを示している。

実験結果

リサーチクエスチョン

• RQ1 方向統計学は、テキストベクトルや方向特徴のような正規化されたデータのクラスタリング性能をどのように向上させることができるか？
• RQ2 多様体上におけるvon Mises-Fisher分布およびWatson分布の主な統計的性質とパラメータ推定技術は何か？
• RQ3 vMFおよびWatson分布のEMに基づく混合モデル化は、標準的なユークリッドクラスタリングやLDAのような確率的モデルに比べて、どの程度優れているか？
• RQ4 集中度パラメータ $\kappa$ は、方向分布の同定可能性および推定精度にどのように影響を与えるか？
• RQ5 標準的なk-meansが方向的または軸対称データに適用された場合の限界は何か？そして、方向統計モデルはそれらをどのように克服できるか？

主な発見

• vMF混合モデルのEMに基づくパラメータ推定は、シミュレーションデータにおいて高い精度を達成しており、$\kappa$ における最悪ケースの相対誤差は0.6%、$\pi$ では0.2%にとどまる。
• 「bigsim」データセットにおいて、EMは真のvMFパラメータを高い忠実度で回復しており、平均方向内積の最悪ケースが0.994であることが裏付けられている。
• Slashdotデータセットにおいて、vMF混合モデル（moVMF）は $K=6$ の場合NMIスコアが0.65、$K=7$ の場合が0.39を達成し、LDAおよびEDCMを上回った。
• 著者らの実装において、moVMFモデルはLDAおよびEDCMに比べて3〜5倍高速であったが、最適化されていないMATLABコードを用いていた。
• Watson分布混合モデルに基づく直径クラスタリングは、真の軸対称クラスタを効果的に回復できたが、標準的なk-meansは球面上での重心の誤った配置により失敗した。
• Watson分布が、方向的または対称的な特徴表現におけるデータをモデル化するのに有効であることが示された。