[論文レビュー] Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation

Florian Bernard, Daniel Cremers+1 more|arXiv (Cornell University)|Sep 30, 2021

Face and Expression Recognition被引用数 4

ひとこと要約

本稿では、直交反復法を拡張する新規アルゴリズムを提案し、スパースな二次最適化をスタイリル多様体上で行う際に、グローバル最適性を保ちつつスパース性を促進する。この手法は、直交不変性を活用することで、最適性を損なわずにスパースな解に回転させる。パーミュテーション同期化において、精度と実行時間の両面で先行手法を上回る優れた性能を発揮する。

ABSTRACT

We address the non-convex optimisation problem of finding a sparse matrix on the Stiefel manifold (matrices with mutually orthogonal columns of unit length) that maximises (or minimises) a quadratic objective function. Optimisation problems on the Stiefel manifold occur for example in spectral relaxations of various combinatorial problems, such as graph matching, clustering, or permutation synchronisation. Although sparsity is a desirable property in such settings, it is mostly neglected in spectral formulations since existing solvers, e.g. based on eigenvalue decomposition, are unable to account for sparsity while at the same time maintaining global optimality guarantees. We fill this gap and propose a simple yet effective sparsity-promoting modification of the Orthogonal Iteration algorithm for finding the dominant eigenspace of a matrix. By doing so, we can guarantee that our method finds a Stiefel matrix that is globally optimal with respect to the quadratic objective function, while in addition being sparse. As a motivating application we consider the task of permutation synchronisation, which can be understood as a constrained clustering problem that has particular relevance for matching multiple images or 3D shapes in computer vision, computer graphics, and beyond. We demonstrate that the proposed approach outperforms previous methods in this domain.

研究の動機と目的

• スタイリル多様体上の組合せ最適化問題におけるスペクトル緩和法のスパース性促進の欠如に対処すること。
• 直交行列上の二次最適化において、グローバル最適性の保証を維持しつつスパースな解を達成すること。
• 直交不変性を活用して、最適性を損なわず、スパースな表現に解を回転させること。
• マルチ画像および3次元形状マッチングの重要な問題であるパーミュテーション同期化における性能向上。
• 学習パイプラインへの統合に適したスケーラブルで効率的かつ微分可能である手法の提供。

提案手法

• 本手法は、解行列に対する勾配に基づく回転を導入することで、直交反復法を変更し、スパース性を促進する補助目的関数を導入する。
• 各反復において、現在の反復点に適用されたスパース性促進目的関数の勾配に基づいて回転行列を計算する。
• 主成分部分空間を保持することで、元の二次問題に対する解がグローバルに最適であることを保証する。
• 収束性の性質は標準的な直交反復法と同一であり、ほとんど至る所で収束が保証される。
• スパース性は、不変部分空間内での解の回転によって達成され、任意の直交変換がグローバル解の最適性を保つことを利用している。
• スパース性促進目的関数を修正することで、非負制約を任意で組み込むことができる。

実験結果

リサーチクエスチョン

• RQ1 グローバル最適性を損なわず、スタイリル多様体最適化においてスパース性を効果的に促進することは可能か？
• RQ2 直交不変性を活用して、グローバルに最適な解をよりスパースな表現に回転させることは可能か？
• RQ3 本手法は、パーミュテーション同期化タスクにおいて、既存のスペクトル緩和手法と比較してどのように異なるか？
• RQ4 スパース性促進機構は、組合せ最適化問題における離散解の品質をどの程度向上させるか？
• RQ5 本手法は、直交性、スパース性、非負性を要件とする他のスペクトル緩和法へ拡張可能か？

主な発見

• 提案手法は、スタイリル多様体上での二次最適化問題に対してグローバルに最適な解を得るとともに、直交不変性を活用してスパース性を促進する。
• 本手法は、元の直交反復法と同一の収束速度とグローバル最適性保証を維持する。
• パーミュテーション同期化において、最先端のベースラインと比較して、Fスコアとサイクル整合性の両面で優れた性能を発揮する。
• 特にノイズが多い、または不完全なデータ環境下でも、部分的パーミュテーション同期化タスクにおいて性能が向上する。
• QR分解の微分可能性を活かし、計算的に効率的で、微分可能プログラミングと互換性がある。
• 実験結果から、本手法は大きな要素が少なく、近似的にゼロに近い要素が多い解を生成することが確認され、効果的なスパース性促進が実現している。