[논문 리뷰] Instance Normalization: The Missing Ingredient for Fast Stylization

Dmitry Ulyanov, Andrea Vedaldi외 1명|arXiv (Cornell University)|2016. 07. 27.

Handwritten Text Recognition Techniques참고 문헌 3인용 수 3,103

한 줄 요약

이 논문은 빠른 스타일링 생성기에서 배치 정규화를 인스턴스 정규화로 대체하고 테스트 시점에 이를 적용하면 실시간 스타일링에서 이미지 품질이 상당히 향상된다는 것을 보인다.

ABSTRACT

It this paper we revisit the fast stylization method introduced in Ulyanov et. al. (2016). We show how a small change in the stylization architecture results in a significant qualitative improvement in the generated images. The change is limited to swapping batch normalization with instance normalization, and to apply the latter both at training and testing times. The resulting method can be used to train high-performance architectures for real-time image generation. The code will is made available on github at https://github.com/DmitryUlyanov/texture_nets. Full paper can be found at arXiv:1701.02096.

연구 동기 및 목표

• 생성기 아키텍처의 품질을 개선하여 실시간 스타일 전송을 고무한다.
• 대비(normalization) 정규화를 아키텍처 내에서 효율적으로 구현할 수 있는지 검토한다.
• 인스턴스 정규화가 배치 정규화보다 우수한 스타일링 결과를 가져온다는 것을 보여준다.

제안 방법

• 스타일라이제이션 생성기 네트워크에서 배치 정규화 층을 인스턴스 정규화 층으로 교체한다.
• 훈련 및 테스트 시 모두 인스턴스 정규화를 적용한다(고정 또는 제거 없음).
• 이전의 빠른 스타일링 방법들과 동일한 생성기 아키텍처를 사용하고 인스턴스 정규화로 재학습한다.
• 생성 과정을 단순화하기 위하여 인스턴스 정규화가 인스턴스 특유의 대비 정보를 제거한다는 직관을 제시한다.
• 수정의 일반화를 평가하기 위하여 두 가지 생성기 아키텍처 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 인스턴스 정규화가 배치 정규화에 비해 빠른 스타일링의 품질을 향상시키는가?
• RQ2 테스트 시점에 인스턴스 정규화를 적용하는 것이 더 높은 품질의 스타일링을 달성하는 데 중요한가?
• RQ3 이 작업에서 서로 다른 두 생성기 아키텍처도 인스턴스 정규화의 이점을 얻는가?

주요 결과

• 배치 정규화를 인스턴스 정규화로 대체하면 테스트된 아키텍처 전반에서 스타일링 품질이 크게 향상된다.
• Ulyanov 등(2016)과 Johnson 등(2016)의 생성 네트워크 모두 인스턴스 정규화에서 비슷하게 이점을 얻는다.
• 훈련 및 테스트 시 인스턴스 정규화를 사용하는 것이 배치 정규화 동작을 유지하는 것보다 더 나은 결과를 낳는다.
• 더 효율적인 잔차 구조(Johnson et al., 2016)가 인스턴스 정규화로 전환한 후에도 선호된다.