[論文レビュー] KoPA: Automated Kronecker Product Approximation

Chencheng Cai, Rong Chen+1 more|arXiv (Cornell University)|Dec 5, 2019

Advanced Data Compression Techniques参考文献 38被引用数 15

ひとこと要約

本稿では、KoPA（Kronecker積近似）を提案する。これは、より小さな行列のKronecker積の和として行列を表現する柔軟な行列近似手法であり、低ランクSVDに比べて高い圧縮率と精度を実現する。また、高次元設定下で十分な信号対雑音比が保たれる条件下で、漸近的に一貫性を持つ構成選択のための拡張情報基準を導入している。

ABSTRACT

We consider the problem of matrix approximation and denoising induced by the Kronecker product decomposition. Specifically, we propose to approximate a given matrix by the sum of a few Kronecker products of matrices, which we refer to as the Kronecker product approximation (KoPA). Because the Kronecker product is an extension of the outer product from vectors to matrices, KoPA extends the low rank matrix approximation, and includes it as a special case. Comparing with the latter, KoPA also offers a greater flexibility, since it allows the user to choose the configuration, which are the dimensions of the two smaller matrices forming the Kronecker product. On the other hand, the configuration to be used is usually unknown, and needs to be determined from the data in order to achieve the optimal balance between accuracy and parsimony. We propose to use extended information criteria to select the configuration. Under the paradigm of high dimensional analysis, we show that the proposed procedure is able to select the true configuration with probability tending to one, under suitable conditions on the signal-to-noise ratio. We demonstrate the superiority of KoPA over the low rank approximations through numerical studies, and several benchmark image examples.

研究の動機と目的

• 任意サイズの成分行列のKronecker積を用いることで、低ランクSVDを一般化する柔軟な行列近似手法の開発。
• Kronecker積分解のための最適な行列次元（構成）をデータ駆動的に選択する課題への対処。
• 適切な信号対雑音比の下で、高次元漸近的設定における構成選択の理論的一貫性の確立。
• 画像データにおける低ランクSVDおよび全変動正則化法と比較して、行列ノイズ除去および圧縮性能に優れることの実証。
• 各項ごとに異なる構成をとる多項式Kronecker積モデルへの拡張の探求。

提案手法

• KoPAを提案する。これは、より小さな行列のKronecker積の和として行列を近似する手法であり、成分行列の次元（構成）はデータから選択される。
• モデルの適合度と複雑さのバランスを取るために、AICおよびBICを一般化した拡張情報基準（EIC）を導入し、構成選択に用いる。
• 与えられた構成に対して、Frobeniusノルムの最小化を用いて成分行列を推定し、最近接Kronecker積問題を解く。
• 2段階のアルゴリズムを採用する：まず、候補となる構成に対して成分行列を推定する。次に、EICを用いて最良の構成を選択する。
• ノイズのある画像をKronecker積の和として近似することで、画像ノイズ除去に本手法を適用し、構成はBIC（κ = 18 ln 2）を用いて選択する。
• 理論的分析により、高次元漸近的設定下で信号対雑音比が十分に高い場合、EICは真の構成を確率1に近づけて一貫して選択することが示された。

実験結果

リサーチクエスチョン

• RQ1 高次元データに対して、Kronecker積近似は低ランクSVDに比べてより正確かつ柔軟な行列近似を実現できるか？
• RQ2 Kronecker積分解のための最適な構成（成分行列の次元）を、データから自動的に選択する方法は何か？
• RQ3 拡張情報基準は、高次元漸近的設定下でも一貫した構成選択を保証するか？
• RQ4 KoPAは、低ランクSVDおよび全変動正則化法と比較して、画像ノイズ除去においてどの程度の性能を示すか？
• RQ5 各項ごとに異なる構成をとる多項式KoPAモデルは、近似精度および圧縮性能を向上させられるか？

主な発見

• KoPAは、'peppers' や 'mandril' などのテスト画像において、1項SVDに比べて再構成誤差を最大70％まで低減し、顕著な性能向上を示した。
• 多項式KoPA（mKoPA）は、全変動正則化（TVR）と同等の再構成誤差を達成したが、特にマンドリルの鼻のような滑らかな領域では、TVRがわずかに優れた性能を示した。
• マンドリルの画像において、mKoPAはTVRが特徴を過剰に平滑化する傾向にあるのに対し、模様のある領域（毛布やひげ）の微細なディテールをよりよく保持した。
• BIC（κ = 18 ln 2）によって選択された構成は、全10のベンチマーク画像において一貫して低い再構成誤差をもたらし、情報基準の有効性を裏付けた。
• 理論的結果により、高次元漸近的設定下で信号対雑音比が十分に高い場合、拡張情報基準は真の構成を確率1に近づけて一貫して選択することが示された。
• KoPAは、低ランクSVDに比べて高い圧縮率を実現しながら、元の行列に近い近似を達成しており、その柔軟性と効率性が示された。