[論文レビュー] Multi-source Learning via Completion of Block-wise Overlapping Noisy Matrices

Doudou Zhou, Tianxi Cai+1 more|arXiv (Cornell University)|May 21, 2021

Advanced Graph Neural Networks参考文献 64被引用数 4

ひとこと要約

本稿では、マルチソースのバイオメディカルデータ統合に生じるブロック構造を示すノイジィな行列の行列補完手法BONMIを提案する。直交プロクラステス回帰と低ランクSVDを活用することで、複数のソース間で共有される固有空間を用いて欠損ブロックを補完し、非一様かつブロック構造を示す欠損に対しても近似的に最適な統計的レートを達成する。知識グラフ統合やクロスリンガル医療用語翻訳の分野においても優れた実験的性能を示す。

ABSTRACT

Matrix completion has attracted attention in many fields, including statistics, applied mathematics, and electrical engineering. Most of the works focus on the independent sampling models under which the observed entries are sampled independently. Motivated by applications in the integration of knowledge graphs derived from multi-source biomedical data such as those from Electronic Health Records (EHR) and biomedical text, we propose the {\bf B}lock-wise {\bf O}verlapping {\bf N}oisy {\bf M}atrix {\bf I}ntegration (BONMI) to treat blockwise missingness of symmetric matrices representing relatedness between entity pairs. Our idea is to exploit the orthogonal Procrustes problem to align the eigenspace of the two sub-matrices, then complete the missing blocks by the inner product of the two low-rank components. Besides, we prove the statistical rate for the eigenspace of the underlying matrix, which is comparable to the rate under the independently missing assumption. Simulation studies show that the method performs well under a variety of configurations. In the real data analysis, the method is applied to two tasks: (i) the integrating of several point-wise mutual information matrices built by English EHR and Chinese medical text data, and (ii) the machine translation between English and Chinese medical concepts. Our method shows an advantage over existing methods.

研究の動機と目的

• 既存の行列補完手法が独立的かつ一様なエントリ抽出を仮定しているという限界に対処すること。これは、実世界のマルチソースデータ統合において、欠損がブロック構造を示す場合に不適切である。
• 共通のエンティティまたは特徴を共有するが同一ではないデータソース間で、対称的および非対称的行列を統合するための統計的に妥当かつ計算効率の良い手法を開発すること。
• ブロック構造の欠損が生じる状況下での固有空間推定に関する理論的保証を提供し、独立的サンプリングの下でのレートと同等の性能を示すこと。
• 特にクロスリンガル医療用語の整合性を高めるために、EHRやバイオメディカルテキストなど多様なソースからの知識グラフ統合を可能にすること。
• 繰り返し観測が不要な非対称行列に対しても、フレームワークを拡張し、ゲノム情報統合などの応用分野への適用範囲を広げること。

提案手法

• BONMIは、重複するデータソースからの2つの部分行列の固有空間を直交プロクラステス解析で整合させることで、一貫性のある低ランク構造の推定を可能にする。
• 補完された固有空間から導出された低ランク成分の内積を用いて、欠損ブロックを補完し、複数のソース間で共有される構造を活用する。
• 補完後の行列を集約し、その上で特異値分解（SVD）を適用した後、低ランク近似を用いて完全な行列を回復する。
• 非対称行列の場合、繰り返し観測を必要とせず、重複するエントリを一意のものとして扱う一般化モデルを用いてフレームワークを拡張する。
• 複数のソースを扱う際には、重複するペair間の推定値を反復的に集約し、複数のソースが同じエントリに寄与する場合には最初に得られた有効な推定値を選択する。
• 理論的分析では、回転不変ノルムを用いて固有空間推定の誤差を評価し、やや厳しい条件下でも独立的サンプリングと同等の収束レートを示す。

実験結果

リサーチクエスチョン

• RQ1 エントリの欠損が独立的サンプリングではなく、ブロック構造を示す場合に、行列補完が効果的に実行可能か？（これは、マルチソースのバイオメディカルデータに一般的に見られる。）
• RQ2 提案されたBONMI手法は、ブロック構造の欠損が生じる状況下でも、独立的サンプリングモデルと同等の統計的性能を達成できるか？
• RQ3 BONMIは、英語と中国語の医療テキストなど複数のソースからの知識グラフ統合を成功裏に実行できるか？特に、単語埋め込みの質を向上させられるか？
• RQ4 既存手法と比較して、BONMIはクロスリンガル医療用語翻訳においてどのように性能を発揮するか？
• RQ5 ノイズを含む観測下で、ブロック構造の欠損が生じる状況下での固有空間推定にどのような理論的保証を設けられるか？

主な発見

• BONMIは、ブロック構造の欠損が生じる状況下でも、固有空間推定において近似的に最適な統計的誤差率を達成し、独立的サンプリング仮定下での境界と同等の性能を示す。
• 英語および中国語の医療テキストからのポイント相互情報行列統合において、実験的に優れた性能を示し、下流タスクの翻訳品質を向上させる。
• シミュレーション研究により、さまざまな設定（異なるサンプリング確率、ノイズレベルなど）においても頑健性が確認された。
• 理論的分析では、最小サンプリング確率 $p_0$ が0から離れている場合、または $p_0 = o(1 / \log N)$ の場合、左および右の特異ベクトルの推定誤差が $\frac{\{(1-p_0)K^2 + 1\}K}{\sqrt{\lambda_{\min}}}\sqrt{N}\sigma$ に比例するレートで減少することが示された。
• 希なサンプリングの場合は誤差境界に対数因子 $p_0 \log N$ が含まれ、不確実性が増加するが、依然として一貫性を保つ。
• 繰り返し観測が不要な非対称行列への拡張により、重複する特徴が一度しか観測されないゲノムデータ統合など、より広範な応用が可能になった。