[論文レビュー] A Maximum Matching Algorithm for Basis Selection in Spectral Learning

Ariadna Quattoni, Xavier Carreras+1 more|arXiv (Cornell University)|Jun 9, 2017

Blind Source Separation Techniques参考文献 14被引用数 4

ひとこと要約

本論文は、スペクトル学習における基本行列選択のための最大二部マッチングアルゴリズムを提案し、構造的フルランクな部分行列をコンパクトに選択することで、大規模なハンケル行列における計算を効率化する。この手法により、最小限の性能損失でSVD計算を最大2桁速く実現し、自然言語処理におけるスパースな系列関数のスペクトル学習を顕著にスケーラブルに可能にする。

ABSTRACT

We present a solution to scale spectral algorithms for learning sequence functions. We are interested in the case where these functions are sparse (that is, for most sequences they return 0). Spectral algorithms reduce the learning problem to the task of computing an SVD decomposition over a special type of matrix called the Hankel matrix. This matrix is designed to capture the relevant statistics of the training sequences. What is crucial is that to capture long range dependencies we must consider very large Hankel matrices. Thus the computation of the SVD becomes a critical bottleneck. Our solution finds a subset of rows and columns of the Hankel that realizes a compact and informative Hankel submatrix. The novelty lies in the way that this subset is selected: we exploit a maximal bipartite matching combinatorial algorithm to look for a sub-block with full structural rank, and show how computation of this sub-block can be further improved by exploiting the specific structure of Hankel matrices.

研究の動機と目的

• 大規模なハンケル行列のSVD分解に起因するスペクトル学習における計算ボトルネックを解消すること。
• モデルの精度を維持しつつ計算コストを低減する、効率的でサンプル依存の基本行列選択手法を開発すること。
• ハンケル行列のスパarsityと構造的ランクの性質を活用し、スパースな系列関数における長距離依存関係のスケーラブルな学習を可能にすること。
• グリーディーや全列挙に代わる組合せ的代替手法を提供し、性能を損なわず効率を向上させること。

提案手法

• ハンケル行列のスパarsityパターンを二部グラフとして表現し、接頭辞と接尾辞をノードとし、非ゼロ要素をエッジとする。
• この二部グラフにおける最大基数マッチングを計算し、構造的フルランクを形成する接頭辞および接尾辞の部分集合を特定する。
• 選択された部分行列を用いてSVDにより低ランク近似を計算し、全ハンケル行列の計算に置き換える。
• ハンケル行列の特異な構造を活用して、部分行列の計算および因子分解をさらに最適化する。
• 非退化性仮定の下で最適であるように設計されており、可能な限り最小の基本行列サイズを保証する。

実験結果

リサーチクエスチョン

• RQ1 組合せ的最適マッチングアルゴリズムは、スパースな系列関数におけるスペクトル学習のための最小かつ情報量の多い基本行列を効果的に同定できるか？
• RQ2 全ハンケル行列ではなくマッチングされた部分行列を用いた場合、スペクトル学習の性能はどのようにスケーリングされるか？
• RQ3 提案手法は、実際のNLPタスクにおけるモデル精度を維持しつつ、SVD計算時間をどの程度短縮できるか？
• RQ4 グリーディ選択や全接頭辞/接尾辞列挙といった既存の基本行列選択戦略と比較して、最大マッチングアプローチはより効率的か？

主な発見

• 提案手法は、他の手法と比較して少なくとも1桁小さい基本行列を選択し、SVD計算時間を著しく短縮する。
• 全ハンケル行列ではなくマッチングされた部分行列を用いることで、SVDステップの処理時間が最低でも2桁速くなった。
• SPiCe系列予測ベンチマークでは、全体で2番目の成績（平均順位0.6414）を達成し、5つのデータセットのうち3つで2位となった。
• 高ランクのハンケル行列に対しても、学習時間は5分未満で維持され、強力なスケーラビリティを示した。
• アンサンブル手法やRNN-Pといった最先端モデルでさえ、モデル結合なしで本手法を上回るか、同等の性能を達成した。
• 実践的にも頑健であり、スパースな系列関数において非退化性仮定がほぼ常に満たされていることが示唆された。