[논문 리뷰] MixerGAN: An MLP-Based Architecture for Unpaired Image-to-Image Translation

George Cazenavette, Manuel Ladrón de Guevara|arXiv (Cornell University)|2021. 05. 28.

Multimodal Machine Learning Applications참고 문헌 32인용 수 10

한 줄 요약

MixerGAN은 주어진 이미지 간 번역 작업을 위해 주목사용을 대체하는 메모리 효율적인 MLP-Mixer 아키텍처를 사용하는 새로운 비연산, 비주의 기반 생성 모델을 제안한다. 이는 장거리 픽셀 간 의존성을 포착하는 데에 사용되며, CycleGAN과 같은 컨볼루션 신경망에 비해 경쟁력 있는 성능을 달성하면서도 계산 비용을 크게 감소시킨다.

ABSTRACT

While attention-based transformer networks achieve unparalleled success in nearly all language tasks, the large number of tokens (pixels) found in images coupled with the quadratic activation memory usage makes them prohibitive for problems in computer vision. As such, while language-to-language translation has been revolutionized by the transformer model, convolutional networks remain the de facto solution for image-to-image translation. The recently proposed MLP-Mixer architecture alleviates some of the computational issues associated with attention-based networks while still retaining the long-range connections that make transformer models desirable. Leveraging this memory-efficient alternative to self-attention, we propose a new exploratory model in unpaired image-to-image translation called MixerGAN: a simpler MLP-based architecture that considers long-distance relationships between pixels without the need for expensive attention mechanisms. Quantitative and qualitative analysis shows that MixerGAN achieves competitive results when compared to prior convolutional-based methods.

연구 동기 및 목표

• 비연산적이고 비주의적인 아키텍처인 MLP-Mixer를 생성적 이미지 간 번역 작업에 적용할 수 있는지 탐색한다.
• 시각 분야에서 자기주의 메커니즘이 높은 메모리 비용을 유발하는 문제를 해결하기 위해, MLP-Mixer의 효율적인 장거리 모델링 능력을 활용한다.
• 기존의 컨볼루션 GAN보다 더 단순하고 파라미터 효율적인 새로운 기준을 설정한다.
• MLP 기반 모델이 주의 메커니즘 또는 컨볼루션 인덕티브 바이어스 없이도 이미지 내 장거리 의존성을 효과적으로 모델링할 수 있는지 평가한다.

제안 방법

• 입력 이미지의 패치를 선형 패치 프로젝션을 통해 학습 가능한 벡터로 변환함으로써 공간 해상도를 낮추면서도 특징 표현을 유지한다.
• 패치 간 장거리 의존성을 모델링하기 위해 채널별 및 토큰별 MLP를 적용하는 스택된 '믹서 블록'을 핵심 번역 기법으로 사용한다.
• CycleGAN과 유사한 생성자-판별자 적대적 학습 기반으로, 가역적 매핑을 강제하기 위해 사이클 일致성 손실을 적용한다.
• 잠재 벡터를 다시 이미지 패치로 복원하고, 디컨볼루션 또는 역전치 연산을 통해 전체 이미지를 재구성한다.
• 믹서 블록에서 가중치를 공유하는 MLP를 사용하여 파라미터 수를 줄이고 학습 안정성을 향상시킨다.
• 쌍체 데이터가 필요 없이 적대적 손실과 사이클 일치 손실을 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 주목사용이나 컨볼루션 인덕티브 바이어스 없이도 MLP-Mixer 아키텍처가 비쌍체 이미지 간 번역에 효과적으로 작용할 수 있는가?
• RQ2 MLP 기반 생성자 모델의 성능이 CycleGAN과 같은 최신 컨볼루션 GAN에 비해 이미지 품질과 다양성 측면에서 어떻게 비교되는가?
• RQ3 MLP-Mixer가 이미지 생성에서 주로 발생하는 실패 유형은 무엇이며, 특히 패치 프로젝션 과정에서의 정보 손실과 관련된가?
• RQ4 MLP-Mixer의 메모리 효율성 덕분에 트랜스포머에 비해 계산 비용을 크게 줄이고도 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• MixerGAN은 Horse2Zebra 및 Apple2Orange 데이터셋에서 쌍체 데이터 없이도 현실적이고 다양한 번역 결과를 얻는 데 성공했다.
• Yosemite 데이터셋에서는 MixerGAN이 CycleGAN보다 더 생생하고 계절에 맞는 결과를 내보내며, 눈이 더 희고 색감이 더 뚜렷한 결과를 생성했다.
• 특히 고대비 또는 텍스처가 풍부한 영역(예: 기린 무늬)에서 패치 아티팩트가 발생하여 패치 프로젝션 과정에서의 정보 손실로 인한 한계를 보였다.
• 입력 해상도를 128×128로 낮추면 Horse2Zebra 데이터셋에서 번역 품질이 향상되어 패치 수준에서의 해상도와 채널 용량이 성능에 중요한 영향을 미친다는 점을 시사했다.
• 주요 실패 유형은 동일한 패치 아티팩트의 반복이었으며, 이는 패치 프로젝션 과정에서의 고도의 압축과 제한된 잠재 채널 용량 때문이라고 저자들이 기인했다.
• 패치 프로젝션 후 잠재 채널 수를 늘리는 것이 정보 손실을 줄이고 아티팩트를 완화할 수 있을 것으로 추측되었지만, 계산 제약으로 인해 완전한 검증은 이루어지지 않았다.