[論文レビュー] Linear regression over the max-plus semiring: algorithms and applications

James Hook|arXiv (Cornell University)|Dec 10, 2017

Control Systems and Identification参考文献 14被引用数 3

ひとこと要約

この論文は、古典的最適化手法を用いたmax-plus $2$-norm回帰のための新規フレームワークを提案し、非凸かつ非滑らかであるにもかかわらず、3つの逆問題における最尤推定を可能にしている。具体的には、ノイズが混入した時系列データからmax-plus線形動的システムを同定すること、最短経路データからネットワークエッジ長を推定すること、およびデータへのmax-plus多項式関数のフィッティングである。$2$-norm残差の非凸性・非滑らか性にもかかわらず、アンダーシューティングを用いた修正ニュートン法により、実用的な収束が達成され、高品質な解が得られる。

ABSTRACT

In this paper we present theory, algorithms and applications for regression over the max- plus semiring. We show how max-plus 2-norm regression can be used to obtain maximum likelihood estimates for three different inverse problems. Namely inferring a max-plus linear dynamical systems model from a noisy time series recording, inferring the edge lengths of a network from shortest path information and fitting a max-plus polynomial function to data.

研究の動機と目的

• 非凸かつ非滑らかであるため、既に理解が進んでいる$∞$-normの場合とは異なり、max-plus $2$-norm回帰の理論的裏付けと計算可能性に裏付けられたアプローチを開発すること。
• max-plus $2$-norm回帰を、max-plus線形動的システムの同定、最短経路に基づくネットワークエッジ長推定、max-plus多項式フィッティングの3つの逆問題に応用すること。
• max-plus行列・ベクトル乗算を古典的線形代数の観点から再定式化することで、勾配に基づく手法の適用を可能にし、max-plus代数と古典的最適化を結びつけること。
• グローバル収束保証のないヒューリスティック最適化手法であっても、実用的な逆問題設定において高品質な解をもたらすことを示すこと。
• 特に、局所最適性の検証がNP困難であるという点を含め、max-plus設定における$2$-norm回帰の理論的・アルゴリズム的課題を明らかにし、今後の研究の方向性を示唆すること。

提案手法

• 古典的線形代数における区分的線形かつ非滑らかな写像として、max-plus行列・ベクトル乗算$A \otimes \bm{x}$を再定式化し、標準的な最適化手法の適用を可能にする。
• 非凸かつ非滑らかな$2$-norm残差$\|A \otimes \bm{x} - \bm{y}\|_2$を最小化するために、勾配降下法およびアンダーシューティングを用いた修正ニュートン法を適用する。
• 変数変換を用いてmax-plus多項式フィッティングを線形回帰問題に変換し、$2$-norm回帰を用いた最尤推定を可能にする。
• 最短経路ネットワークをmin-plus代数でモデル化し、観測された最短経路時間からエッジ長を推定する。この問題をmin-plus線形系として定式化する。
• min-plusネットワークにおける低ランク近似およびモデル順序低減を用いて、社会的ネットワークにおける近隣構造のパターンなど、構造的知見を抽出する。
• max-plusとmin-plus代数の双対性を活用し、ネットワーク推定やシステム同定を含む、さまざまな逆問題へのフレームワークの一般化を図る。

実験結果

リサーチクエスチョン

• RQ1 非凸かつ非滑らかであるにもかかわらず、max-plus半群上での$2$-norm回帰は、実用的に解けるのか？
• RQ2 ノイズが混入した時系列データからmax-plus線形動的システムのパラメータを推定するために、max-plus $2$-norm回帰をどのように応用できるか？
• RQ3 最短経路測定値からエッジ長を推定する問題は、max-plusまたはmin-plus回帰問題として定式化可能か？
• RQ4 max-plus多項式回帰は、データにどれほど適応可能であり、古典的多項式フィッティングと比較して、精度および解釈可能性の点でどのように異なるか？
• RQ5 max-plus $2$-norm回帰において、収束性や最適性を保証するためのアルゴリズム的・理論的課題は何か。実用的にそれらをどのように軽減できるか？

主な発見

• max-plus $2$-norm回帰問題は非凸かつ非滑らかであり、ある点が局所最小であるかどうかを判定することはNP困難である。
• アンダーシューティングを用いた修正ニュートン法は、グローバル収束保証がなくても、実用的に高品質な近似解に収束する。
• max-plus線形動的システムの同定において、ノイズが混入した時系列データから最尤推定が得られ、例3.2では残差が$1.8247$、例5.3では$1.7041$であった。
• 多項式フィッティングにおいては、4次max-plus多項式で残差$1.7041$を達成し、データの有効な近似が可能であることが示された。
• min-plusネットワーク推定フレームワークは、最短経路データからエッジ長を効果的に回復し、モデル順序低減技術により実世界の社会的ネットワークにおける構造的パターンが明らかになった。
• 理論的結果（例：定理6.2）は、局所最適性の検証の本質的な難しさを示唆しているが、構造的問題では依然として効率的な最適化が可能である可能性を示唆している。