[論文レビュー] Fast multi-output relevance vector regression

Youngmin Ha|arXiv (Cornell University)|Apr 17, 2017

Face and Expression Recognition参考文献 23被引用数 4

ひとこと要約

本稿では、多出力関係ベクトル回帰（MRVR）の高速化を図るために、多変量正規分布の代わりに行列ノームル分布を用いて出力間の相関をモデル化することで、時間計算量を O(VM³) から O(V³ + M³) に削減した。この手法により、特に出力次元が大きい場合に著しく高速な計算が可能となり、ノイズ共分散推定の精度も向上するが、重み正則化の構造的仮定のため、平均予測精度はわずかに低下し、関係ベクトルの数も増加する。

ABSTRACT

This paper aims to decrease the time complexity of multi-output relevance vector regression from O(VM^3) to O(V^3+M^3), where V is the number of output dimensions, M is the number of basis functions, and V

研究の動機と目的

• 大規模かつ多次元出力問題における多出力関係ベクトル回帰（MRVR）の計算時間計算量を低減すること。
• 行列ノームル分布を用いて出力相関を明示的にモデル化することで、ノイズ共分散行列推定の精度を向上させること。
• 出力次元数（V）と基底関数数（M）の増加に伴い、スケーリングが著しく悪化する既存のMRVR手法の非効率性を是正すること。
• 計算速度と予測精度のバランスを図り、モデルに組み込まれた構造的仮定に起因するトレードオフを同定すること。

提案手法

• 従来のMRVRにおける多変量正規尤度モデルを、出力間相関をよりよく捉える行列ノームル分布に置き換える。
• 行列微積分を用いて重みの事後分布に対する新しい閉形式解を導出することで、効率的な行列逆行列計算を可能にし、高速化を実現する。
• 重み行列を制約するための重要な仮定 Ω = E[WᵀW]/tr(A⁻¹) を導入し、計算を高速化するが、これにより平均予測精度に影響を与える。
• カーネルトリックとスパースベイズ学習の原則を用いることで、モデルの柔軟性を維持しながら計算負荷を低減する。
• 時間計算量が O(VM³) であった従来手法に対し、V×V および M×M 行列の逆行列演算（O(V³ + M³)）を用いることで、多くの応用で V < M が成り立つ条件を活かして計算量を削減する。
• 再現性を確保し、採用を促進するため、MATLABで実装された公開コードを提供する。

実験結果

リサーチクエスチョン

• RQ1 多出力関係ベクトル回帰の時間計算量を O(VM³) から O(V³ + M³) に低減することは可能か？ ただし、予測性能に悪影響を及げないか。
• RQ2 行列ノームル分布を用いて出力相関をモデル化することで、独立したガウス仮定と比較して、ノイズ共分散推定の精度はどのように向上するか？
• RQ3 重み行列の構造的仮定 Ω = E[WᵀW]/tr(A⁻¹) によって、平均予測精度と関係ベクトル数にどのようなトレードオフが生じるか？
• RQ4 提案手法は、出力次元数（V）と基底関数数（M）の増加に伴ってどのようにスケーリングするか？

主な発見

• 提案されたMRVR手法により、時間計算量が O(VM³) から O(V³ + M³) に低減され、特に V と M が大きい場合に著しく高速な計算が実現された。
• ノイズ共分散行列 Ω の推定精度が向上し、全テスト設定において共分散推定のRMSEが低く抑えられた。
• 提案手法と従来手法との間での計算時間差は、V や N が大きくなるに従って拡大し、理論的な計算量の優位性が裏付けられた。
• 提案手法では平均予測のRMSEがやや高くなる（表5）、特に V が大きく N が小さい場合に顕著で、真の関数平均を推定する精度が低下していることが示された。
• 関係ベクトル（RVs）の数は提案手法で多い（表6）ことから、重み正則化の仮定によりスパース性が低下していることが示唆された。
• 平均精度とスパース性のトレードオフがあるものの、ノイズ共分散推定の効率性と精度に優れるため、これらの要因が優先される応用分野に適している。