[論文レビュー] Solution of the optimal assignment problem by diagonal scaling algorithms

Meisam Sharify, Stéphane Gaubert+1 more|arXiv (Cornell University)|Apr 19, 2011

Markov Chains and Monte Carlo Methods参考文献 27被引用数 12

ひとこと要約

本稿では、変形パrameter p を用いたエントロピー最大化を活用することで、最適割り当て問題を解くための新規アプローチを提案する。p → ∞ のとき、解は指数関数的に最適割り当て行列に収束することが示された。この手法は、特にSinkhornおよびニュートン反復を用いた対角スケーリングアルゴリズムにより、この極限を計算し、並列化可能な前処理ステップを実現する。これにより、大規模な密行列問題のサイズを最大99%まで低減でき、その後続の正確な解法におけるメモリ要件を顕著に削減する。

ABSTRACT

We show that a solution of the optimal assignment problem can be obtained as the limit of the solution of an entropy maximization problem, as a deformation parameter tends to infinity. This allows us to apply entropy maximization algorithms to the optimal assignment problem. In particular, the Sinkhorn algorithm leads to a parallelizable method, which can be used as a preprocessing to handle large dense optimal assignment problems. This parallel preprocessing allows one to delete entries which do not belong to optimal permutations, leading to a reduced instance which becomes solvable with limited memory requirements.

研究の動機と目的

• 大規模な密行列の最適割り当て問題に対して、スケーラブルで並列化可能な前処理手法を開発し、メモリ要件を低減すること。
• 変形パrameter p を通じて、最適割り当て問題とエントロピー最大化の理論的関係を確立すること。
• p → ∞ のとき最適割り当て行列に収束する反復的アルゴリズム（変形-Sinkhorn）を設計すること。
• 大規模な p に対して数値的に安定した実装を提供し、A^(p) の計算におけるオーバーフローを回避するための「log-glasses」を用いること。
• 前処理後の縮小問題の正しさを検証するための近似的な最適性証明を提供すること。

提案手法

• 最適割り当て問題は、パrameter p を用いたエントロピー最大化問題の極限として再定式化され、目的関数は J_p(X) = -∑x_ij(log(x_ij/a_ij^p) - 1) で表される。
• エントロピー最大化問題の解 X(p) は、p → ∞ のとき指数関数的に最適割り当て行列に収束し、|x_ij(p) - x_ij(∞)| = O(exp(-cp))（c > 0）となる。
• Sinkhornアルゴリズムが行列 A^(p) を双確率的形にスケーリングするために適用され、非最適割り当ての成分は0に近づく。
• 対角スケーリング問題はニュートン法に基づいて解かれ、f(x) = D(x)Ax - 1 = 0 をパスフォローアルゴリズムで反復的に解き、線形方程式系には共役勾配法を用いる。
• 前処理ステップでは、最終的なスケーリング行列において顕著な値を持つ要素のみを保持し、任意の最適置換に含まれる可能性が低い要素は破棄する。
• A^(p) の計算におけるオーバーフローを回避するため、「log-glasses」——対数スケーリング——を用いて数値的安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 最適割り当て問題は、エントロピー最大化問題の連続的変形によって解けるか？
• RQ2 変形パrameter p → ∞ のとき、エントロピー最大化問題の解は最適割り当て行列に収束するか？
• RQ3 Sinkhorn やニュートン反復などの対角スケーリングアルゴリズムを用いて、実用的にこの極限を効率的に計算できるか？
• RQ4 このような手法は、最適性を保ちつつ、大規模な密行列の最適割り当て問題のサイズをどの程度まで低減できるか？
• RQ5 大規模な p に対し、数値的に安定した実装が可能か？A^(p) の計算における数値的オーバーフローを回避できるか？

主な発見

• エントロピー最大化問題の解 X(p) は、p → ∞ のとき指数関数的に最適割り当て行列に収束し、誤差は O(exp(-cp))（c > 0）のオーダーで減少する。
• Sinkhornに基づく前処理法により、密行列の最適割り当て問題における非ゼロ要素数が最大99%まで低減され、42%のケースで元のサイズの4%未満にまで縮小された。
• テストケースの68%において、問題サイズは元の非ゼロ要素数の27%未満にまで低減され、メモリ要件が顕著に削減された。
• ニュートン法に基づくバージョンはSinkhornバージョンよりも高速に収束し、全テスト行列において200回未満の反復で収束が確認された。
• pei、randcorr、toeppd などの行列では、前処理ステップで最適置換に属する要素のみが保持され、最適割り当ての特定において100%の正確性を達成した。
• 本手法は、前処理後の縮小問題の正しさを検証するための近似的な最適性証明を提供する。