[論文レビュー] Solving Jigsaw Puzzles with Linear Programming

Rui Yu, Chris Russell+1 more|arXiv (Cornell University)|Nov 13, 2015

Image Processing and 3D Reconstruction参考文献 18被引用数 11

ひとこと要約

本稿では、NP困難な問題を段階的グローバル凸緩和に定式化することで、jigsawパズルを解くための新しい線形計画法（LP）アプローチを提案する。この手法により、局所最適解に陥りにくく、ノイズに強く、最先端のgreedy法およびグローバル法を凌駕するグローバル最適な組み立てが可能になる。重み付きL1ペナルティを用いて不一致なペアワイズマッチを処理し、標準データセット上でほぼ完璧な再構築が達成され、432ピecceのType 2パズルでは95.8%の直接マッチ精度を達成した。

ABSTRACT

We propose a novel Linear Program (LP) based formula- tion for solving jigsaw puzzles. We formulate jigsaw solving as a set of successive global convex relaxations of the stan- dard NP-hard formulation, that can describe both jigsaws with pieces of unknown position and puzzles of unknown po- sition and orientation. The main contribution and strength of our approach comes from the LP assembly strategy. In contrast to existing greedy methods, our LP solver exploits all the pairwise matches simultaneously, and computes the position of each piece/component globally. The main ad- vantages of our LP approach include: (i) a reduced sensi- tivity to local minima compared to greedy approaches, since our successive approximations are global and convex and (ii) an increased robustness to the presence of mismatches in the pairwise matches due to the use of a weighted L1 penalty. To demonstrate the effectiveness of our approach, we test our algorithm on public jigsaw datasets and show that it outperforms state-of-the-art methods.

研究の動機と目的

• 未知のピース位置および方向を有するjigsawパズルを、グローバル最適で凸緩和に基づく手法で解く挑戦に応えること。
• 局所最適解への感受性を低減し、パズル組み立てにおけるノイズや誤ったペアワイズマッチへの耐性を高めること。
• 各ピースを4つの回転バージョンに変換することで、Type 1（方向が既知）とType 2（方向が未知）の両方のパズルに適用可能な等価なType 1問題に変換することにより、LPベースのソルバの適用範囲を拡張すること。
• ベンチマークデータセット上で、既存のgreedy法およびグローバル最適化法よりも高い再構築精度を達成すること。

提案手法

• 本手法は、元のNP困難な離散問題の逐次的線形計画（LP）緩和としてjigsaw組み立てを定式化し、グローバル最適化を可能にする。
• 誤ったまたは信頼性の低いペアワイズマッチの影響を低減するために、目的関数に重み付きL1ペナルティを用いることで、それらのマッチに与える影響をロバストに制御する。
• アルゴリズムは、現在のLP解に整合する信頼性の高いマッチを特定し、更新された制約でLPを再解決する操作を繰り返すことで、徐々に大きな連結成分を構築する。
• Type 2パズル（方向が未知）の場合、各ピースを4つの回転バージョンに変換し、方向が既知の問題に変換する。
• ペアワイズ適合スコアから導かれるソフト制約を活用し、反復的なLP解法により不一致なマッチを段階的に排除する。
• 最終的な解は、曖昧なピースを最後の段階で配置することで得られ、直接マッチ、隣接マッチ、コンポonentマッチ、完全マッチのメトリクスを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 jigsawパズル問題の系列的凸緩和は、局所最適解を避けるグローバル最適解をもたらすか？
• RQ2 重み付きL1ペナルティの使用は、パズル組み立てにおける誤ったペアワイズマッチへのロバストネスをどのように向上させるか？
• RQ3 LPベースのアプローチは、等価なType 1問題に変換することで、方向が未知のType 2 jigsawパズルを効果的に解くことができるか？
• RQ4 さまざまなノイズレベル下で、LPベースのソルバの性能は最先端のgreedy法およびグローバル法と比べてどの程度優れているか？
• RQ5 反復的LP精錬戦略は、1段階の最適化に比べて再構築精度をどの程度向上させるか？

主な発見

• 提案手法のLPベースのアプローチは、MITデータセットの432ピecceのType 2パズルで95.8%の直接マッチ精度を達成し、Gallagher [8]（82.2%）およびSon et al. [16]（94.7%）を上回った。
• Type 1パズルでは、15個中14個が完全再構築に成功し、95.7%の直接マッチ精度を達成した。これは、Son et al. [16] が報告した96.7%の上限を上回る結果であった。
• 本手法は画像ノイズに対して優れたロバストネスを示し、Type 2パズルにおいてガウスノイズが増加するに従い、Gallagher [8] や Son et al. [16] よりも著しく高い性能を維持した。
• 現代のPC上では、432ピecceのType 1パズルは5秒、Type 2パズルは1分で実行可能であり、主なボトルネックはすべての最先端手法に共通するO(n²)のペアワイズマッチ計算であった。
• 再構築における誤差の主な原因は、曖昧なピースを配置する最終段階であり、これはコアのLP緩和がコンポーネントの組み立てにおいて極めて効果的であることを示している。
• 本手法は、2枚の画像からなる864ピecceの混合Type 2パズルを正しく再構築し、各ピースの4つの回転バージョンをすべて正しく同定した。