[논문 리뷰] Autoencoder Image Interpolation by Shaping the Latent Space

Alon Oring, Zohar Yakhini외 1명|arXiv (Cornell University)|2020. 08. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 10

한 줄 요약

이 논문은 자동에코더의 잠재 공간을 매끄럽고 국소적으로 볼록하게 형상화하는 정규화 기법을 제안하여 아티팩트를 줄이고 더 충실한 이미지 보간을 향상시킨다. 적대적, 사이클 일致성, 매끄러움 손실을 조합함으로써 이 방법은 이미지 간에 현실적인 보간을 가능하게 하여 COIL-100 및 합성 막대 데이터셋에서 표준 자동에코더, VAE, AAE보다 복원 정밀도와 보간의 매끄러움에서 뛰어난 성능을 발휘한다.

ABSTRACT

Autoencoders represent an effective approach for computing the underlying factors characterizing datasets of different types. The latent representation of autoencoders have been studied in the context of enabling interpolation between data points by decoding convex combinations of latent vectors. This interpolation, however, often leads to artifacts or produces unrealistic results during reconstruction. We argue that these incongruities are due to the structure of the latent space and because such naively interpolated latent vectors deviate from the data manifold. In this paper, we propose a regularization technique that shapes the latent representation to follow a manifold that is consistent with the training images and that drives the manifold to be smooth and locally convex. This regularization not only enables faithful interpolation between data points, as we show herein, but can also be used as a general regularization technique to avoid overfitting or to produce new samples for data augmentation.

연구 동기 및 목표

• 비매끄럽고 비볼록한 잠재 다양체로 인해 발생하는 자동에코더 기반 이미지 보간의 아티팩트 문제를 해결하기 위해.
• 기본 데이터 다양체를 더 잘 반영하도록 잠재 공간을 형상화하여 이미지 간 보간의 충실도를 향상시키기 위해.
• 낮은 데이터 환경에서 보간 품질을 향상시키고 과적합을 줄이기 위해 일반 목적의 정규화 방법을 개발하기 위해.
• 잠재 공간에서 기하학적 일致성을 강제하여 데이터 포인트 간에 매끄럽고 연속적인 전환을 가능하게 하기 위해.

제안 방법

• 적대적 손실, 사이클 일치성 손실, 매끄러움 손실을 조합한 새로운 정규화 프레임워크를 도입하여 잠재 공간을 형상화한다.
• 실제 데이터와 보간된 잠재 벡터를 구별하는 디스크림이너를 사용하여 현실적인 복원을 장려한다.
• x에서 y로 보간하고 다시 x로 복귀했을 때 원래 데이터 포인트를 유지하는 것을 보장하기 위해 사이클 일치성 손실을 적용한다.
• 국소 볼록성과 연속성을 보장하기 위해 매끄러움 손실을 구현한다.
• 구조적 변경 없이도 충실한 보간을 생성하기 위해 제안된 정규화를 적용한 표준 자동에코더를 훈련시킨다.
• 256차원의 잠재 공간을 사용하고 COIL-100 및 다양한 조명 조건을 가진 합성 막대 데이터셋에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 자동에코더 기반 모델에서 이미지 보간의 현실성과 정밀도를 향상시킬 수 있는가?
• RQ2 잠재 다양체의 기하학적 구조가 보간 품질에 어떤 역할을 하는가?
• RQ3 적대적 손실과 사이클 일치성 손실이 보간 아티팩트를 줄이기 위해 잠재 공간을 효과적으로 정규화할 수 있는가?
• RQ4 매끄러움 정규화는 보간 경로의 연속성과 단조성에 어떤 영향을 미치는가?
• RQ5 이 방법은 제한된 훈련 데이터를 가진 생성 모델에 일반 목적의 정규화자로 활용될 수 있는가?

주요 결과

• 제안된 방법은 COIL-100 데이터셋에서 기준 모델 대비 보간된 이미지 복원에서 평균 제곱 오차(MSE)를 최대 30%까지 감소시켰다.
• 다양한 알파 값에 대한 MSE의 표준편차는 AAE, ACAI, β-VAE보다 유의미하게 낮아, 더 일관된 복원 품질을 보였다.
• 제안된 방법에서 보간된 이미지의 L1 거리 기반으로 가장 가까운 데이터셋 이미지와의 거리로 알파 값을 예측했을 때, 중앙값의 사분위간 범위(IQR)가 가장 작아, 보다 뛰어난 보간 정확도를 보였다.
• 이 방법은 매개변수 공간에서 단조롭고 매끄러운 전환을 달성했으며, 일부 범위에서 비단조적 행동을 보이는 β-VAE를 능가했다.
• 시각적 점검 결과, 제안된 방법은 아티팩트 없는 보간을 생성하는 반면, AAE, ACAI, β-VAE는 눈에 띄는 왜곡이나 급격한 모드 변화를 유발했다.
• 적대적, 사이클 일치성, 매끄러움 손실의 조합은 잠재 다양체를 국소적으로 볼록하고 매끄럽게 형상화하여 충실한 보간을 가능하게 했다.