[논문 리뷰] Jigsaw Puzzle Solving Using Local Feature Co-Occurrences in Deep Neural Networks

Marie-Morgane Paumard, David Picard외 1명|arXiv (Cornell University)|2018. 07. 05.

Image Processing and 3D Reconstruction참고 문헌 19인용 수 25

한 줄 요약

이 논문은 크로네커 곱 기반의 특징 조합을 통해 局소적 특징 공존을 이용한 딥러닝 방법을 제안하며, 이는 이전 작업 대비 25%의 성능 향상을 달성한다. 또한 메트로폴리탄 미술관에서 수집한 새로운 데이터셋과 탐욕적 재구성 알고리즘을 도입하여, 28.8%의 확률로 퍼즐을 정확히 재구성하고 평균 68.8%의 조각 정확도를 기록한다.

ABSTRACT

Archaeologists are in dire need of automated object reconstruction methods. Fragments reassembly is close to puzzle problems, which may be solved by computer vision algorithms. As they are often beaten on most image related tasks by deep learning algorithms, we study a classification method that can solve jigsaw puzzles. In this paper, we focus on classifying the relative position: given a couple of fragments, we compute their local relation (e.g. on top). We propose several enhancements over the state of the art in this domain, which is outperformed by our method by 25\\%. We propose an original dataset composed of pictures from the Metropolitan Museum of Art. We propose a greedy reconstruction method based on the predicted relative positions.

연구 동기 및 목표

• 문화유산 응용 분야에 특화된, 상대적 조각 위치를 분류하는 강력한 딥러닝 방법을 개발하기 위해.
• 기존 방법에 비해 이웃 조각 간의 局소적 특징 공존을 모델링하여, 이전 연구에서 忽시된 요소를 보완하기 위해.
• 조각이 손상되거나 누락되거나 관련 없는 조각들과 혼합된 실제 고고학적 환경에서의 조각 재조립 과제를 해결하기 위해.
• 실제 재구성 작업을 더 잘 반영하기 위해 메트로폴리탄 미술관에서 새로운 문화적으로 관련성이 있는 데이터셋을 구축하기 위해.
• 쌍별 위치 예측을 활용하여 완전한 퍼즐을 조립하는 탐욕적 재구성 알고리즘을 설계하고 평가하기 위해.

제안 방법

• 96×96 픽셀 조각에서 특징을 추출하기 위해, VGG를 영감으로 삼은 단순화된 CNN 아키텍처를 사용하며, 3×3 컨볼루션, 배치 정규화, ReLU 활성화 함수, 최대 풀링 레이어를 포함한다.
• 지역화된 두 조각의 부분 간 상관관계를 모델링하기 위해 크로네커 곱을 사용하는 새로운 특징 조합 전략을 도입하여, 간단한 연결 방식보다 우수한 성능을 달성한다.
• 한 조각이 다른 조각에 대해 상대적인 위치(예: 상단, 오른쪽)를 예측하는 분류 헤드를 설계하며, 더 큰 이미지에서 추출한 조각 쌍을 기반으로 훈련한다.
• 예측된 상대 위치에 따라 반복적으로 조각을 배치하는 탐욕적 재구성 알고리즘을 사용하며, 중심 조각에서 시작하여 외곽으로 확장한다.
• ImageNet에서의 사전 훈련을 거쳐 MET 데이터셋에서의 미세조정을 수행하는 훈련 파이프라인을 구현하며, MET 데이터에서부터 끝내기 훈련도 수행한다.
• 훈련 중에 조각 위치에 무작위로 ±7 픽셀 이동을 적용하는 데이터 증강 전략을 도입하여 모델의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 이웃 조각 간의 局소적 특징 공존을 모델링하는 것이, 표준 특징 연결 방식에 비해 퍼즐 재구성 정확도를 향상시키는가?
• RQ2 더 적은 파rameter를 가진 단순화된 CNN 아키텍처가 이전 연구에서 사용된 더 복잡한 아키텍처보다 동일한 작업에서 더 우수한 성능을 내는가?
• RQ3 ImageNet에서 사전 훈련된 모델을 ImageNet에서의 미세조정 후 MET 데이터셋에서의 성능 향상에 얼마나 기여하는가?
• RQ4 쌍별 상대 위치 예측에 기반하여 탐욕적 재구성 알고리즘이 완전한 퍼즐을 조립하는 데 얼마나 효과적인가?
• RQ5 크로네커 기반 특징 조합 전략이 손상되거나 비정규적인 모양을 가진 조각을 포함한 실제 환경의 조각 재조립 과제에 일반화 가능한가?

주요 결과

• 제안된 방법은 ImageNet 퍼즐 벤치마크에서 검증 정확도 65%를 달성하여 이전 최고 성능 대비 25% 향상된 성과를 기록한다.
• 크로네커 곱 기반 특징 조합은 ImageNet에서 6.2%p, MET 데이터셋에서 5.2%p의 정확도 향상을 달성하여 연결 방식보다 뛰어난 성능을 보인다.
• ImageNet에서 사전 훈련한 모델을 MET 데이터셋에서 미세조정한 결과, 크로네커 레이어를 사용해 64.9%의 정확도를 기록하였으며, MET 데이터셋에서부터 끝내기 훈련한 경우(47.9% 정확도)보다 뛰어난 성능을 보였다.
• 탐욕적 재구성 알고리즘은 9조각 퍼즐을 완전히 정확히 재구성하는 데 28.8%의 확률을 기록하였고, 평균적으로 각 이미지당 68.8%의 조각이 정확히 배치되었다.
• 정성적 결과에서는 잘못 분류된 조각들이 시각적으로 타당한 것으로 나타나, 모델이 의미 있는 공간 관계를 학습하고 있음을 시사한다.
• 실제 예술 조각에 대한 재구성 예시와 새로운 MET 데이터셋을 통해, 이 방법이 문화유산 이미지에 대해 잘 일반화됨을 입증하였다.