[論文レビュー] Beyond Pham's algorithm for joint diagonalization

Pierre Ablin, J.-F. Cardoso+1 more|arXiv (Cornell University)|Nov 28, 2018

Blind Source Separation Techniques参考文献 8被引用数 7

ひとこと要約

本稿では、行列が対角である場合に真のヘッセ行列と一致するスパースヘッセ近似を用いた、対称行列の近似的な同時対角化のための新規な準ニュートン法を提案する。数値実験において、合成データおよび実際のMEGデータの両方で、Phamのアルゴリズムよりも1桁速い収束を達成しており、1反復あたりの計算コストはO(np²)であり、最適解の近傍では2次収束を示す。

ABSTRACT

The approximate joint diagonalization of a set of matrices consists in finding a basis in which these matrices are as diagonal as possible. This problem naturally appears in several statistical learning tasks such as blind signal separation. We consider the diagonalization criterion studied in a seminal paper by Pham (2001), and propose a new quasi-Newton method for its optimization. Through numerical experiments on simulated and real datasets, we show that the proposed method outper-forms Pham's algorithm. An open source Python package is released.

研究の動機と目的

• 盲抽出および統計的学習の重要なタスクである近似的な同時対角化における、より高速で効率的な最適化のニーズに対応すること。
• O(p⁴)のシステムを解く必要があるニュートン型手法の高い計算コストを克服するため、スパースヘッセ近似を導入すること。
• 収束はするが、ノイズが多いまたは正確に同時対角化可能なセットでは実用的に遅いPhamのブロック座標降下アルゴリズムを改善すること。
• 問題サイズに応じて効率的にスケーリングしつつ、最適解の近傍で2次収束を維持する手法を開発すること。
• 信号処理および機械学習の応用分野での利用を想定し、実用的でオープンソースの実装を提供すること。

提案手法

• 最適化多様体の群構造を活用するため、可逆行列Bに対して相対的更新B ← (I + 𝔼)Bを用いる。
• Pham基準L(B)の2次テイラー展開から、相対勾配Gおよび相対ヘッセ行列𝒫を導出する。
• Dⁱ = B Cⁱ Bᵀの対角成分にのみ依存するスパースで構造化された形式によるヘッセテンソル𝒫の近似を実施し、計算量をO(np²)に削減する。
• Γ_ab = (1/n)Σᵢ Dⁱ_bb / Dⁱ_aaを含む閉形式解を用いて、ヘッセ行列の逆行列近似𝒫⁺を構築し、探索方向の高速計算を実現する。
• 各ステップでコスト関数の十分な減少を保証するため、バックトラッキングラインサーチを用いる。これにより、準ニュートン近似のもとでもグローバル収束を維持する。
• 行列が正確に同時に対角化可能である場合にヘッセ近似が正確になるという事実を活用し、解の近傍でニュートン法の2次収束率を継承できる。

実験結果

リサーチクエスチョン

• RQ1 同時対角化に適した準ニュートン法を設計できるか。その場合、Phamのアルゴリズムを上回る収束速度を達成しつつ、1反復あたりの計算コストを低く保てるか。
• RQ2 同時に対角化可能な場合に真のヘッセ行列と一致するスパースヘッセ近似は、2次収束特性を保持できるか。
• RQ3 提案手法は、大規模なpに対しても効率的にスケーリング可能であり、フルヘッセ行列の逆行列計算に要するO(p⁶)のコストを回避できるか。
• RQ4 正確な同時対角化が不可能な実世界のデータ（例：MEG信号）において、本手法はどのように性能を発揮するか。
• RQ5 ノイズの影響を受ける場合、収束速度および最終的な性能はPhamのアルゴリズムと比較してどの程度異なるか。

主な発見

• 提案手法は、合成データおよび実際のMEGデータの両方において、Phamのアルゴリズムを約1桁速く収束させる。
• 完全に同時に対角化可能な合成データセット（σ = 0）では、両手法とも2次収束を示し、理論的期待と一致する。
• ノイズ（σ = 0.1）が存在する場合および実際のMEGデータにおいては、期待通り線形収束に低下するが、依然としてPhamのアルゴリズムよりも著しく速く収束する。
• 集合が同時に対角化可能である場合にヘッセ近似が正確になるため、この領域ではニュートン法の2次収束率をそのままで継承できる。
• 1反復あたりの計算コストはO(np²)であり、問題の自然な複雑度と一致し、pが大きくなる場合のスケーラビリティを実現する。
• オープンソースのPythonパッケージをリリースし、再現性の確保および信号処理および機械学習分野における後続応用への統合を容易にする。