[논문 리뷰] Bi-level Feature Alignment for Versatile Image Translation and Manipulation

Fangneng Zhan, Yingchen Yu외 6명|arXiv (Cornell University)|2021. 07. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 92인용 수 5

한 줄 요약

이 논문은 고해상도 이미지 번역 및 편집을 위한 새로운 이중 수준 특징 정렬 프레임워크인 RABIT을 제안한다. 이는 차별 가능한 top-k 순위 정렬과 조밀한 어텐션을 조합하여 계산 비용을 감소시키면서도 고정밀도, 스타일 정확도가 높은 이미지 생성을 달성한다. 구조 유지에 위해 의미적 위치 인코딩을 도입하고, 의미 불일치를 처리하기 위해 신뢰도 기반 특징 통합 모듈을 설계하여, 정량적 지표와 사용자 연구 모두에서 기존 최고 성능(SOTA) 방법을 능가한다.

ABSTRACT

Generative adversarial networks (GANs) have achieved great success in image translation and manipulation. However, high-fidelity image generation with faithful style control remains a grand challenge in computer vision. This paper presents a versatile image translation and manipulation framework that achieves accurate semantic and style guidance in image generation by explicitly building a correspondence. To handle the quadratic complexity incurred by building the dense correspondences, we introduce a bi-level feature alignment strategy that adopts a top-$k$ operation to rank block-wise features followed by dense attention between block features which reduces memory cost substantially. As the top-$k$ operation involves index swapping which precludes the gradient propagation, we approximate the non-differentiable top-$k$ operation with a regularized earth mover's problem so that its gradient can be effectively back-propagated. In addition, we design a novel semantic position encoding mechanism that builds up coordinate for each individual semantic region to preserve texture structures while building correspondences. Further, we design a novel confidence feature injection module which mitigates mismatch problem by fusing features adaptively according to the reliability of built correspondences. Extensive experiments show that our method achieves superior performance qualitatively and quantitatively as compared with the state-of-the-art.

연구 동기 및 목표

• 이미지 번역 및 편집에서 높은 정밀도의 이미지 생성과 충실한 스타일 제어를 달성하기 위한 과제를 해결한다.
• 조건부 입력과 예시 간의 조밀한 특징 대응 구축 시 발생하는 이차적 메모리 비용을 줄이기 위한 과제를 해결한다.
• 의미적 유사성 외에도 공간 일관성을 고려하여 예시 왜곡 과정에서 텍스처 구조를 유지하기 위한 과제를 해결한다.
• 조건부 입력과 예시 간의 의미 불일치로 인한 오류를 줄이기 위해 적응형 특징 융합을 통해 문제를 해결한다.
• 일관된 의미와 충실한 스타일을 유지하는 고해상도 이미지 번역 및 편집을 가능하게 하는 다용도 성능을 확보한다.

제안 방법

• 상위 k 순위 정렬 연산을 사용해 관련 특징 블록을 선택하고, 이를 통해 메모리 비용을 O(L²)에서 O(N² + b²)로 감소시키는 이중 수준 특징 정렬 전략을 제안한다.
• 기울기 역전파를 가능하게 하기 위해 비가역적인 top-k 연산에 대한 정규화된 지구 이동자 문제를 통한 미분 가능 근사치를 제안한다.
• 특징 정렬 과정에서 텍스처 패턴을 유지하기 위해 영역별로 고유한 좌표를 할당하는 의미적 위치 인코딩(SPE) 메커니즘을 설계한다.
• 구축된 대응의 신뢰도에 기반해 조건부 입력과 왜곡된 예시의 특징을 적응형으로 융합하는 신뢰도 기반 특징 통합(CONFI) 모듈을 개발한다.
• 조건부 입력과 예시 이미지 간의 고해상도이고 효율적인 특징 매칭을 가능하게 하는 순위 정렬 및 어텐션 기반 설계(RAS) 기법을 활용한다.
• 사진적 사실성과 고정밀도 생성을 보장하기 위해 적대적 손실과 인지적 손실을 포함한 GAN 기반 생성자 사용한다.

실험 결과

연구 질문

• RQ1 조건부 입력과 예시 간에 이차적 메모리 비용을 유발하지 않으면서도 조밀한 특징 대응을 효율적으로 구축할 수 있는 방법은 무엇인가?
• RQ2 특징 매칭에서 top-k 연산을 어떻게 미분 가능하게 만들 수 있는가? 이를 통해 엔드 투 엔드 학습이 가능하도록 하는가?
• RQ3 의미적 유사성 외에 추가로 공간 일관성을 고려하지 않을 경우, 예시 왜곡 과정에서 세밀한 텍스처 구조를 어떻게 유지할 수 있는가?
• RQ4 조건부 입력과 예시 간의 의미 불일치로 인한 오류를 어떻게 방지할 수 있는가? 적응형 특징 융합이 이를 어떻게 해결하는가?
• RQ5 제안된 방법이 최신 기술(SOTA) 대비 얼마나 시각적 품질과 스타일 일관성 향상에 기여하는가?

주요 결과

• RABIT는 ADE20K 데이터셋에서 FID 26.61을 기록하여 모든 SOTA 방법보다 낮은 성능을 달성한다.
• CelebA-HQ 데이터셋에서 RABIT는 FID 60.87과 IS 21.07을 기록하여 MaskGAN(기록: FID 80.89, IS 23.86)을 크게 앞서나간다.
• Amazon Mechanical Turk에서의 사용자 연구 결과, RABIT는 여러 데이터셋에서 이미지 품질과 스타일 일관성에 대해 평균 점수로 가장 높은 점수를 기록했다.
• RABIT는 ADE20K에서 IS 0.823을 기록하여 이어지는 최고 성능 방법(0.744)을 크게 앞서나간다.
• 정성적 결과 분석에서 RABIT는 SOTA 방법 대비 더 선명한 텍스처, 더 뛰어난 의미 일관성, 더 충실한 스타일 전이를 구현한 이미지를 생성한다.
• 절단 실험 결과, SPE, CONFI, 그리고 미분 가능한 top-k 모두가 성능 향상에 기여하는 것으로 확인되었다.