[論文レビュー] Jigsaw Puzzle Solving Using Local Feature Co-Occurrences in Deep Neural Networks

Marie-Morgane Paumard, David Picard+1 more|arXiv (Cornell University)|Jul 5, 2018

Image Processing and 3D Reconstruction参考文献 19被引用数 25

ひとこと要約

本論文は、Kronecker積に基づく特徴結合を用いて局所的特徴の共起を扱う深層学習手法を提案し、先行研究より25%の性能向上を達成した。メトロポリタン美術館のデータセットを新たに作成し、ペアワイズの相対位置予測を活用したグリーディ再構成アルゴリズムを導入した。このアルゴリズムは28.8%の確率でパズルを正しく再構成し、平均して68.8%の断片正確度を達成した。

ABSTRACT

Archaeologists are in dire need of automated object reconstruction methods. Fragments reassembly is close to puzzle problems, which may be solved by computer vision algorithms. As they are often beaten on most image related tasks by deep learning algorithms, we study a classification method that can solve jigsaw puzzles. In this paper, we focus on classifying the relative position: given a couple of fragments, we compute their local relation (e.g. on top). We propose several enhancements over the state of the art in this domain, which is outperformed by our method by 25\\%. We propose an original dataset composed of pictures from the Metropolitan Museum of Art. We propose a greedy reconstruction method based on the predicted relative positions.

研究の動機と目的

• 文化的遺産応用を念頭に置いた、ジャイガパズル解法における断片の相対的位置分類を効果的に行う深層学習手法の開発。
• 先行研究で無視されていた隣接する断片間の局所的特徴の共起をモデル化することで、既存手法の改善。
• 断片が劣化・欠損している、あるいは関係のないピeceと混在しているなど、現実の考古学的文脈における断片再構成の課題への対応。
• 文化的に意味のあるデータセットとして、メトロポリタン美術館のデータから新規データセットを構築。
• ペアワイズの相対位置予測を活用したグリーディ再構成アルゴリズムの設計と評価。

提案手法

• 96×96ピクセルの断片から特徴を抽出するために、VGGを模した簡素化されたCNNアーキテクチャを採用。3×3畳み込み層、バッチ正規化、ReLU活性化関数、マックスプーリング層を含む。
• 局所的部分同士の相関をモデル化するため、Kronecker積を用いた新規な特徴結合戦略を提案。単純な連結より優れた性能を発揮。
• 1枚の画像から抽出した断片のペアを用いて、1つの断片が他方に対して相対的にどの位置にあるか（例：上、右）を予測する分類ヘッドを設計。
• 中央の断片から始め、予測された相対位置に従って断片を段階的に追加するグリーディ再構成アルゴリズムを提案。
• ImageNetで事前学習した後、METデータセットで微調整するトレーニングパイプラインを採用。また、METデータセットからスクラッチで学習する方法も併用。
• トレーニングの耐性を高めるために、断片の位置をランダムに±7ピクセルずらすデータ拡張戦略を導入。

実験結果

リサーチクエスチョン

• RQ1 隣接する断片間の局所的特徴の共起をモデル化することで、標準的な特徴連結と比較してジャイガパズル解法の正確性が向上するか？
• RQ2 パrameter数を減らした簡素化されたCNNアーキテクチャが、同じタスクにおいて先行研究で用いられたより複雑なアーキテクチャを上回るか？
• RQ3 ImageNetで事前学習したモデルを、METコレクションのような文化的に意味のあるデータセットで微調整することで、性能がどの程度向上するか？
• RQ4 ペアワイズの相対位置予測に依存するグリーディ再構成アルゴリズムは、完全なパズルの再構成においてどの程度有効か？
• RQ5 Kroneckerに基づく特徴結合戦略は、劣化や不規則な形状の断片を含む現実の断片再構成タスクに一般化可能か？

主な発見

• 提案手法はImageNetジャイガベンチマークで65%の検証正確度を達成し、先行SOTAより25%の向上を示した。
• Kronecker積ベースの特徴結合は、ImageNetでは連結法より6.2ポイント、METデータセットでは5.2ポイントの正確度向上を達成した。
• ImageNetで事前学習したモデルをMETデータセットで微調整した場合、Kronecker層を用いて64.9%の正確度を達成。METデータセットでスクラッチから学習した場合（47.9%正確度）を上回った。
• グリーディ再構成アルゴリズムは、9ピースの完全なパズルを28.8%の確率で完璧に再構成でき、1枚あたり平均68.8%の断片が正しく配置された。
• 定性的な結果から、誤分類された断片も視覚的に妥当であることが示され、モデルが意味のある空間的関係を学習していることが示唆された。
• 文化的遺産画像への一般化性能が高く、新規に構築したMETデータセットおよび実際の美術品断片の再構成例を通じて裏付けられた。