[논문 리뷰] Attention-based Fusion for Multi-source Human Image Generation

Stéphane Lathuilière, Enver Sangineto외 2명|arXiv (Cornell University)|2019. 05. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 34인용 수 9

한 줄 요약

이 논문은 다중 소스 인간 이미지 생성을 위한 어텐션 기반 융합 기법을 제안한다. 목표 자세와 다수의 소스 외형 이미지를 기반으로 사람 이미지를 합성한다. 자세 유도 특징 정렬과 다이나믹하게 소스 간 특징를 융합하는 학습 가능한 어텐션 모듈을 도입함으로써, 특히 소스 이미지 수가 변동할 경우에도 뛰어난 이미지 품질과 강건성을 달성한다. 이는 Market-1501 및 DeepFashion 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

We present a generalization of the person-image generation task, in which a human image is generated conditioned on a target pose and a set X of source appearance images. In this way, we can exploit multiple, possibly complementary images of the same person which are usually available at training and at testing time. The solution we propose is mainly based on a local attention mechanism which selects relevant information from different source image regions, avoiding the necessity to build specific generators for each specific cardinality of X. The empirical evaluation of our method shows the practical interest of addressing the person-image generation problem in a multi-source setting.

연구 동기 및 목표

• 단일 소스 이미지가 아닌 다수의 소스 외형 이미지를 조건으로 하여 사람 이미지 생성 작업을 일반화한다.
• 사전에 고정되지 않은 소스 이미지 수를 가진 다중 소스 환경에서 입력 카디널리티의 변동성을 다루는 도전 과제를 해결한다.
• 특히 가림이나 노이즈 상황에서 다수의 소스 이미지로부터 상보적인 정보를 활용해 이미지의 정밀도와 세부 사항 정확도를 향상시킨다.
• 다양한 수의 소스 이미지에 대해 재학습이나 아키텍처 변경 없이도 유연하고 확장 가능한 아키텍처를 설계한다.
• 고품질 이미지 합성을 위한 다중 소스 표현을 융합하는 데 있어 어텐션 기반 특징 융합의 효과를 검증한다.

제안 방법

• 각 해상도 수준에서 다수의 소스 이미지 특징을 융합하는 어텐션 기반 디코더를 갖춘 수정된 U-Net 생성자 제안.
• 목표 자세에 따라 각 소스 이미지를 변형함으로써 융합 이전에 공간 정렬을 가능하게 하는 자세 유도 특징 인코더 도입.
• 소스 및 위치 기반의 가중치를 계산하는 학습 가능한 어텐션 메커니즘을 활용해 가장 정보가 많은 영역을 강조한다.
• 단일 디스criminator를 사용하는 다중 소스 조건부 GAN 손실을 적용하여 임의의 수의 소스 이미지를 처리함으로써 일관성과 현실감을 확보한다.
• 인코더와 디코더 간 스킵 연결을 적용하지만, 표준 특징 평균화 대신 어텐션 기반 융합을 사용해 특징 선택을 향상시킨다.
• 공간 위치와 소스 인덱스를 기반으로 어텐션 맵을 계산하는 2D 어텐션 모듈을 도입하여 동적이고 맥락 인식 가능한 융합을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 소스 방법과 비교해 다중 소스 외형 이미지가 사람 이미지 생성의 품질과 강건성 향상에 기여하는가?
• RQ2 아키텍처 재학습 없이도 변동 가능한 수의 소스 이미지에서 특징을 효과적으로 융합할 수 있는 딥 생성 모델은 어떻게 설계할 수 있는가?
• RQ3 자세 유도 특징 정렬이 다중 소스 환경에서 어텐션 기반 융합 성능에 미치는 영향은 무엇인가?
• RQ4 다중 소스 이미지 생성에서 어텐션 기반 특징 선택이 단순 평균화나 연결보다 우월한가?
• RQ5 이 방법은 소스 이미지 수가 2장과 5장일 경우에 대해 이미지 품질과 세부 사항 정확도 측면에서 어떻게 일반화되는가?

주요 결과

• 어텐션 기반 융합을 포함한 전체 모델은 Market-1501 및 DeepFashion 데이터셋에서 가장 높은 Fréchet Inception Distance (FID)와 Inception Score (IS)를 기록했으며, 두 소스 이미지를 사용할 경우 Market-1501에서 IS 3.474, DeepFashion에서 IS 3.421를 기록했다.
• 제거 실험에서 자세 유도 특징 정렬을 제거한 경우 (Avg No-d) Market-1501에서 SSIM이 0.294에서 0.258로 급격히 감소함을 확인하여 공간 정렬의 중요성을 입증했다.
• 다섯 개의 소스 이미지를 사용할 경우, 전체 모델은 Market-1501에서 마스크-SSIM 0.788, DeepFashion에서 0.774를 기록했으며, 베이스라인 Avg 방법보다 각각 0.026, 0.018 높게 기록했다.
• 어텐션 기반 모델 (Full)은 아티팩트를 줄이고 세부 사항 생성을 향상시켜, 로고나 모자 같은 의복 세부 사항을 더 잘 유지하는 것으로 질적 비교에서 확인되었다.
• 2D 어텐션 변형은 더 높은 SSIM을 기록했지만 전체 모델보다 낮은 IS를 기록하여 구조적 정밀도와 인지적 품질 사이의 상충 관계를 보였다.
• 이 방법은 입력 카디널리티의 변동성에 대해 강건성을 보이며, 아키텍처 변경 없이도 2장과 5장의 소스 이미지에서 높은 성능을 유지했다.