[논문 리뷰] Unsupervised Image to Sequence Translation with Canvas-Drawer Networks

Kevin Frans, Chin-Yi Cheng|arXiv (Cornell University)|2018. 09. 21.

Advanced Vision and Imaging참고 문헌 11인용 수 11

한 줄 요약

이 논문은 비지도 학습을 위한 캔버스 드로어 프레임워크를 제안하며, 비가역 렌더러를 미분 가능한 캔버스 네트워크로 근사화하여, 페어드 데이터 없이도 픽셀 이미지에서 해석 가능한 고수준 시퀀스(예: 브러시 스트로크, 직사각형)를 생성할 수 있도록 미분 가능한 드로어 네트워크를 엔드 투 엔드로 훈련시킨다. 이 방법은 MNIST 숫자, 플랜트, 3D 시각화를 고해상도와 일반화 능력이 뛰어난 구조적 시퀀스로 성공적으로 변환한다.

ABSTRACT

Encoding images as a series of high-level constructs, such as brush strokes or discrete shapes, can often be key to both human and machine understanding. In many cases, however, data is only available in pixel form. We present a method for generating images directly in a high-level domain (e.g. brush strokes), without the need for real pairwise data. Specifically, we train a "canvas" network to imitate the mapping of high-level constructs to pixels, followed by a high-level "drawing" network which is optimized through this mapping towards solving a desired image recreation or translation task. We successfully discover sequential vector representations of symbols, large sketches, and 3D objects, utilizing only pixel data. We display applications of our method in image segmentation, and present several ablation studies comparing various configurations.

연구 동기 및 목표

• 페어드 훈련 데이터가 필요 없이 픽셀 이미지에서 해석 가능한 고수준 시퀀스(예: 브러시 스트로크, 직사각형)로의 비지도 번역을 가능하게 하기 위해.
• 실제 이미지-시퀀스 페어가 확보되지 않거나 수집에 비용이 많이 들 때 시퀀스 생성 모델을 훈련하는 데 도전하는 문제를 해결하기 위해.
• 디지털 페인팅 소프트웨어, 3D 엔진 등 비가역 렌더링 프로그램에 대한 미분 가능한 근사치를 개발하여 기울기 기반 최적화를 가능하게 하기 위해.
• 슬라이딩 윈도우 및 계층적 아키텍처를 통해 고해상도 이미지와 복잡한 시퀀스로의 일반화를 가능하게 하기 위해.
• 2D 스케치, 색상 벡터 도면, 건축 플랜, 3D 시각화 재구성 등 다양한 도메인에 적용 가능성을 입증하기 위해.

제안 방법

• 실제 렌더링 프로그램으로부터 샘플링된 상태-행동 쌍의 롤아웃을 기반으로, 비가역 렌더러의 행동을 모방하도록 캔버스 네트워크를 훈련시킨다.
• 캔버스 네트워크는 렌더러에 대한 미분 가능한 서rogate를 제공하여, 렌더링 과정을 통해 역전파를 가능하게 하여 드로어 네트워크를 훈련시킨다.
• 드로어 네트워크는 베지에 곡선, 직사각형 배치 등 고수준 행동의 시퀀스를 생성하며, 이는 캔버스 네트워크에 통과되어 목표 픽셀 이미지를 재구성한다.
• 슬라이딩 윈도우 및 계층적 아키텍처를 도입하여 고해상도 이미지(예: 512×512)와 긴 행동 시퀀스로의 확장성을 확보한다.
• 캔버스 네트워크를 통해 생성된 이미지와 목표 이미지 간의 픽셀 수준 재구성 손실을 최소화하여 프레임워크를 엔드 투 엔드로 훈련시킨다.
• 드로어 네트워크를 미분 가능한 정책으로 사용하여, 캔버스 재구성 이미지와 목표 이미지 간의 픽셀 거리 최소화를 통해 번역 작업에 적용한다.

실험 결과

연구 질문

• RQ1 미분 가능한 캔버스 네트워크가 비가역 렌더러를 효과적으로 근사하여, 시퀀스 생성 드로어 네트워크의 엔드 투 엔드 훈련을 가능하게 할 수 있는가?
• RQ2 훈련 중에 볼 수 없었던 분포 외 이미지에 대해 캔버스-드로어 프레임워크가 얼마나 잘 일반화되는가?
• RQ3 슬라이딩 및 계층적 아키텍처를 통해 고해상도 이미지와 긴 시퀀스로의 확장이 가능한가?
• RQ4 예를 들어, 페어드 데이터 없이 Grayscale MNIST 숫자를 색상 벡터 도면으로 변환하는 제로샷 번역 작업에서 이 방법의 효과는 어떠한가?
• RQ5 페어드 데이터 없이 2D 관측치로부터 3D 직육면체를 생성함으로써 이 프레임워크를 3D 도메인으로 확장할 수 있는가?

주요 결과

• 캔버스-드로어 프레임워크는 페어드 데이터 없이도 그레이스케일 MNIST 숫자를 색상 베지에 곡선 시퀀스로 성공적으로 변환하며, 정확한 색상과 형태 재현을 달성한다.
• 훈련 중에 볼 수 없었던 기호와 스케치와 같은 분포 외 예측에 대해 잘 일반화되어 있어, 강건성과 분리된 표현 학습 능력을 보여준다.
• 건축 플랜에 대해서는 드로어 네트워크가 목표 픽셀 레이아웃와 높은 정밀도로 일치하는 해석 가능한 매개변수 기반의 경계 상자 세그멘테이션을 생성한다.
• 3D 재구성에 있어서는, 단지 픽셀 데이터만을 사용하고 페어드 훈련 예제 없이도 세 개의 2D 수직 시점에서 3D 직육면체를 정확히 복구한다.
• 절단 실험 결과, 그림 그리기 단계 수를 늘리거나 계층적 아키텍처를 사용할 경우 재구성 품질과 일반화 능력이 향상됨을 확인하였다.
• 특히 벡터 도면과 실내 세그멘테이션과 같이 구조적이고 인간이 읽을 수 있는 출력이 필요한 작업에서, 기준 방법 대비 안정성과 해석 가능성 면에서 뛰어난 성능을 보였다.