[논문 리뷰] GAN "Steerability" without optimization

Nurit Spingarn-Eliezer, Ron Banner외 1명|arXiv (Cornell University)|2020. 12. 09.

Generative Adversarial Networks and Image Synthesis참고 문헌 23인용 수 11

한 줄 요약

이 논문은 최적화가 필요 없이 생성기 가중치에서 직접 GAN의 '조작 가능성' 경로를 닫힌 형식으로 계산하는 방법을 제안한다. 이는 기하학적 및 의미적 변환에 대한 정밀한 제어를 가능하게 하며, 효과 간의 트레이드오프(예: 줌 인 대비 이동)와 자연스러운 경로 종점까지 제어할 수 있다. 이는 최적화 없이도 카테고리 간 속성 전이에 적용 가능하다.

ABSTRACT

Recent research has shown remarkable success in revealing "steering" directions in the latent spaces of pre-trained GANs. These directions correspond to semantically meaningful image transformations e.g., shift, zoom, color manipulations), and have similar interpretable effects across all categories that the GAN can generate. Some methods focus on user-specified transformations, while others discover transformations in an unsupervised manner. However, all existing techniques rely on an optimization procedure to expose those directions, and offer no control over the degree of allowed interaction between different transformations. In this paper, we show that "steering" trajectories can be computed in closed form directly from the generator's weights without any form of training or optimization. This applies to user-prescribed geometric transformations, as well as to unsupervised discovery of more complex effects. Our approach allows determining both linear and nonlinear trajectories, and has many advantages over previous methods. In particular, we can control whether one transformation is allowed to come on the expense of another (e.g. zoom-in with or without allowing translation to keep the object centered). Moreover, we can determine the natural end-point of the trajectory, which corresponds to the largest extent to which a transformation can be applied without incurring degradation. Finally, we show how transferring attributes between images can be achieved without optimization, even across different categories.

연구 동기 및 목표

• 기존 GAN 조작 방법이 잠재 공간 내 분리된, 해석 가능한 방향을 발견하기 위해 반복 최적화에 의존하는 한계를 해결하기 위해.
• 모든 미세조정이나 최적화 단계 없이 사전 학습된 생성기 가중치에서 직접 조작 경로를 계산할 수 있도록 하기 위해.
• 변환 간의 트레이드오프(예: 줌 인과 이동 간의 상호작용)를 명시적으로 제어하고, 변환의 자연스러운 한계를 정의하기 위해.
• 이를 바탕으로 GAN 내 다양한 이미지 카테고리 간 최적화 없이도 속성 전이를 가능하게 하기 위해.

제안 방법

• 생성기 네트워크의 가중치 구조를 분석하여 잠재 공간 경로에 대한 닫힌 형식의 표현을 유도하기 위해.
• 생성기의 완전히 연결된 층과 합성곱 층을 활용하여, 잠재 벡터의 변형이 이미지 특징에 미치는 영향을 해석적으로 결정하기 위해.
• 기하학적 변환(예: 이동, 줌)에 해당하는 선형 및 비선형 경로를 네트워크의 가중치에서 직접 구성하기 위해.
• 변환 간 상호작용을 제약하는 메커니즘을 도입하여, 사용자가 한 변환이 다른 변환에 영향을 미치는지 여부를 지정할 수 있도록 하기 위해.
• 이미지 품질이 악화되기 이르기까지의 최대 변환 정도에 해당하는 각 경로의 자연스러운 종점을, 생성기의 가중치 기하학적 특성에서 유도하여 정의하기 위해.
• 최적화 없이도 동일한 닫힌 형식의 프레임워크를 사용하여 한 클래스의 속성을 다른 클래스로 매핑함으로써, 서로 다른 이미지 카테고리 간 최적화 없이도 속성 전이를 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 생성기의 학습된 가중치를 활용하여 최적화 없이 GAN 조작 경로를 계산할 수 있는가?
• RQ2 닫힌 형식으로 변환 간 상호작용(예: 줌 대비 이동)에 대해 얼마나 정밀하게 제어할 수 있는가?
• RQ3 반복적 탐색 없이도 변환의 최대 자연스러운 정도를 해석적으로 결정할 수 있는가?
• RQ4 이 방법을 사용하여 GAN에 의해 생성된 서로 다른 카테고리 간 최적화 없이도 속성 전이가 가능한가?
• RQ5 최적화 기반 방법과 비교했을 때, 닫힌 형식의 경로가 해석 가능성과 제어 가능성 면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 최적화 절차를 완전히 생략하고 생성기 가중치에서 직접 조작 경로를 계산한다.
• 이 방법은 줌, 이동과 같은 변환이 서로 간섭하는지 여부를 명시적으로 제어할 수 있게 하여 사용자 정의 트레이드오프를 가능하게 한다.
• 각 변환 경로의 자연스러운 종점은 이미지 품질이 악화되기 이르기까지의 최대 정도로 해석적으로 결정되며, 이는 생성기의 가중치 기하학적 특성에서 유도된다.
• 최적화 없이도 서로 다른 이미지 카테고리 간 속성 전이가 가능하며, 예를 들어 한 얼굴 정체성의 속성을 다른 정체성으로 전이할 수 있다.
• 닫힌 형식의 경로들은 모든 생성된 카테고리에서 일관되며, 최적화 기반 방법과 유사한 의미적 해석 가능성을 유지하면서도 더 높은 효율성을 제공한다.
• 실증 결과는 이 방법이 최적화 기반 기준선과 비교해 비슷하거나 더 뛰어난 분리도와 제어 가능성을 달성함을 보여주며, 추가 학습이나 튜닝이 필요하지 않다.