[논문 리뷰] DeepPermNet: Visual Permutation Learning

Rodrigo Santa Cruz, Basura Fernando외 2명|arXiv (Cornell University)|2017. 04. 10.

Digital Media Forensic Detection참고 문헌 40인용 수 11

한 줄 요약

DeepPermNet은 이중 스 tochastic 행렬을 통해 이산적 순열 행렬을 근사하는 가역적 Sinkhorn 반복을 사용하여, 엔드 투 엔드 훈련을 가능하게 하는 시각적 순열 학습을 위한 새로운 딥러닝 프레임워크를 제안한다. 이는 상대적 특성 학습 및 자기 지도형 표현 학습에서 최신 기술 수준의 성능을 달성하며, Public Figures, OSR 및 PASCAL VOC 벤치마크에서 이전 방법들을 능가한다.

ABSTRACT

We present a principled approach to uncover the structure of visual data by solving a novel deep learning task coined visual permutation learning. The goal of this task is to find the permutation that recovers the structure of data from shuffled versions of it. In the case of natural images, this task boils down to recovering the original image from patches shuffled by an unknown permutation matrix. Unfortunately, permutation matrices are discrete, thereby posing difficulties for gradient-based methods. To this end, we resort to a continuous approximation of these matrices using doubly-stochastic matrices which we generate from standard CNN predictions using Sinkhorn iterations. Unrolling these iterations in a Sinkhorn network layer, we propose DeepPermNet, an end-to-end CNN model for this task. The utility of DeepPermNet is demonstrated on two challenging computer vision problems, namely, (i) relative attributes learning and (ii) self-supervised representation learning. Our results show state-of-the-art performance on the Public Figures and OSR benchmarks for (i) and on the classification and segmentation tasks on the PASCAL VOC dataset for (ii).

연구 동기 및 목표

• 혼합된 이미지 패치로부터 시각적 구조를 학습하는 과제를 해결하기 위해, 시각적 순열 학습이라는 새로운 딥러닝 작업을 정의한다.
• 이산적 순열 행렬의 비가역성 문제를 해결하기 위해, 이중 스 tochastic 행렬을 통한 연속적 근사 방법을 사용한다.
• 혼합된 패치들로부터 원래 이미지의 구조를 복원할 수 있는 엔드 투 엔드로 훈련 가능한 CNN 모델을 개발한다.
• 상대적 특성 학습 및 자기 지도형 표현 학습과 같은 실제 비전 과제들에 이 방법의 유용성을 입증한다.

제안 방법

• 이미지 패치들이 알려지지 않은 순열에 의해 혼합된 후 원래 이미지를 복원하는 것을 목표로 하는 새로운 작업인 시각적 순열 학습을 제안한다.
• Sinkhorn 반복을 통해 순열 행렬을 이중 스 tochastic 행렬로 연속적 근사한다.
• 신경망 내부에 Sinkhorn 반복을 가역적 레이어로 통합하여, 순열 추정 과정을 통해 역전파가 가능하게 한다.
• 표준 CNN을 사용해 초기 행렬을 예측하고, 이를 풀어진 Sinkhorn 반복을 통해 가역적, 이중 스 tochastic 근사를 개선한다.
• 표준 역전파를 사용해 전체 네트워크를 엔드 투 엔드로 훈련시키며, 특징 추출과 순열 복원의 공동 최적화를 가능하게 한다.
• 학습된 순열 모듈을 상류 과제, 예를 들어 상대적 특성 및 자기 지도형 표현 학습에 적용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 혼합된 패치들로부터 원래 이미지의 구조를 효과적으로 복원할 수 있는가?
• RQ2 딥러닝에서 기울기 기반 최적화를 위해 이산적 순열 행렬을 효과적으로 근사하는 방법은 무엇인가?
• RQ3 제안된 가역적 순열 학습 프레임워크는 상대적 특성 및 자기 지도형 표현 학습에서 성능 향상에 기여하는가?
• RQ4 학습된 순열 모듈은 PASCAL VOC 및 Public Figures와 같은 다양한 비전 벤치마크에서 일반화 가능한가?

주요 결과

• DeepPermNet은 상대적 특성 학습에서 Public Figures 벤치마크에서 최신 기술 수준의 성능를 달성한다.
• OSR 벤치마크에서 상대적 특성 학습에 대해 새로운 최신 기술 수준의 결과를 설정한다.
• PASCAL VOC 데이터셋에서 자기 지도형 표현 학습 환경에서 분류 및 세그멘테이션 성능이 향상된다.
• 가역적 Sinkhorn 반복의 사용은 순열의 이산성에도 불구하고 효과적인 엔드 투 엔드 훈련을 가능하게 한다.
• 이 프레임워크는 여러 비전 과제에서 강력한 일반화 성능를 보이며, 시각적 순열 학습이 학습의 인덕티브 바이어스로서의 유용성을 시사한다.