[논문 리뷰] JigsawGAN: Self-supervised Learning for Solving Jigsaw Puzzles with Generative Adversarial Networks.

Ru Li, Shuaicheng Liu외 3명|arXiv (Cornell University)|2021. 01. 19.

Image Processing and 3D Reconstruction참고 문헌 45인용 수 4

한 줄 요약

JigsawGAN은 원본 이미지가 쌍으로 제공되지 않는 경우에도 자기지도 학습 기반의 GAN을 사용하여 조각 맞추기 문제를 해결하기 위한 방법을 제안한다. 이는 조각 순서 예측을 위한 분류 브랜치와 의미적 이미지 복원을 위한 GAN 브랜치를 결합한다. 의사 레이블과 플로우 기반 워핑 모듈을 통합하여 가장자리 특징과 의미적 특징을 모두 활용함으로써, 정량적·정성적 평가에서 이전 방법들을 능가하는 성능을 달성한다.

ABSTRACT

The paper proposes a solution based on Generative Adversarial Network (GAN) for solving jigsaw puzzles. The problem assumes that an image is cut into equal square pieces, and asks to recover the image according to pieces information. Conventional jigsaw solvers often determine piece relationships based on the piece boundaries, which ignore the important semantic information. In this paper, we propose JigsawGAN, a GAN-based self-supervised method for solving jigsaw puzzles with unpaired images (with no prior knowledge of the initial images). We design a multi-task pipeline that includes, (1) a classification branch to classify jigsaw permutations, and (2) a GAN branch to recover features to images with correct orders. The classification branch is constrained by the pseudo-labels generated according to the shuffled pieces. The GAN branch concentrates on the image semantic information, among which the generator produces the natural images to fool the discriminator with reassembled pieces, while the discriminator distinguishes whether a given image belongs to the synthesized or the real target manifold. These two branches are connected by a flow-based warp that is applied to warp features to correct order according to the classification results. The proposed method can solve jigsaw puzzles more efficiently by utilizing both semantic information and edge information simultaneously. Qualitative and quantitative comparisons against several leading prior methods demonstrate the superiority of our method.

연구 동기 및 목표

• 경계 특징에 의존하고 의미적 내용을 忽시하는 전통적 조각 맞추기 솔루션의 한계를 해결한다.
• 원본 이미지에 대한 사전 지식 없이 뒤섞인 정사각형 조각들로부터 이미지를 복원할 수 있는 자기지도 학습 방법을 개발한다.
• 조각 맞추기 정확도 향상을 위해 의미 이해 능력과 구조적 가장자리 정보를 통합한다.
• 조각 순서 분류와 이미지 생성을 동시에 최적화하는 다중 작업 학습 프레임워크를 설계한다.
• 적대적 학습과 의사 레이블링을 통해 원본 이미지와 쌍이 되지 않는 이미지 데이터를 사용하여 엔드 투 엔드 학습을 가능하게 한다.

제안 방법

• 뒤섞인 조각들로부터 유도된 의사 레이블을 사용해 올바른 조각 순서를 식별하는 분류 브랜치를 갖춘 다중 작업 파이프라인을 제안한다.
• 재조립된 조각들로부터 자연 이미지를 복원하는 생성자(generator)를 갖춘 GAN 브랜치를 구현한다.
• 진짜 이미지와 생성자에 의해 합성된 이미지를 구분하는 판별자(discriminator)를 사용하여 복원 결과의 현실성에 대한 강제 조건을 부여한다.
• 분류 브랜치에서 예측한 조각 순서에 따라 특징 표현을 정렬하는 플로우 기반 워핑 모듈을 도입한다.
• 적대적 손실과 분류 손실을 사용해 엔드 투 엔드로 모델을 학습시키며, 의미적 일致성과 구조적 일치성을 동시에 최적화한다.
• 학습 과정에서 쌍이 되지 않는 이미지를 활용하여 원본-뒤섞인 이미지 쌍이 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 쌍이 되지 않는 원본 이미지를 요구하지 않는 자기지도 학습 기반 GAN 접근법이 조각 맞추기 문제를 효과적으로 해결할 수 있는가?
• RQ2 경계 기반 방법에 비해 의미적 특징을 통합할 경우 조각 맞추기 성능 향상 정도는 어느 정도인가?
• RQ3 분류와 이미지 생성을 동시에 최적화하는 방식이 복원 정확도 향상에 얼마나 기여하는가?
• RQ4 뒤섞인 조각들로부터 유도된 의사 레이블이 올바른 조각 순서 학습을 효과적으로 이끌 수 있는가?
• RQ5 플로우 기반 워핑 메커니즘이 분류 결과에 기반해 특징을 성공적으로 정렬하여 재조립된 이미지의 정렬 정확도 향상에 기여하는가?

주요 결과

• JigsawGAN은 정량적·정성적 평가에서 여러 선도적인 이전 방법들보다 뛰어난 성능을 달성한다.
• GAN 브랜치를 통한 의미 정보 통합이 가장자리 기반 방법에 비해 복원 품질을 크게 향상시킨다.
• 의사 레이블의 사용으로 진정한 원본 이미지가 없더라도 효과적인 자기지도 학습이 가능하다.
• 플로우 기반 워핑 메커니즘이 분류 결과에 기반해 특징을 성공적으로 정렬하여 공간 일관성을 향상시킨다.
• 다중 작업 프레임워크는 분류와 이미지 생성 간의 균형을 효과적으로 유지하여 더 정확한 조각 맞추기 솔루션을 도출한다.
• 이 방법은 쌍이 되지 않는 이미지에 대해서도 뛰어난 일반화 성능을 보이며, 자기지도 학습 능력을 확인한다.