[논문 리뷰] Progressive and Aligned Pose Attention Transfer for Person Image Generation

Zhen Zhu, Tengteng Huang외 4명|arXiv (Cornell University)|2021. 03. 22.

Video Surveillance and Tracking Methods참고 문헌 66인용 수 5

한 줄 요약

이 논문은 사람 이미지 생성을 위한 점진적이고 정렬된 자세 주의 전달 네트워크를 제안하며, 연결된 자세-주의 전달 블록(PATBs)과 정렬된 자세-주의 전달 블록(APATBs)을 사용하여 고해상도의 사실적인 자세 전달을 가능하게 하며, 외관과 형태 일관성을 향상시킨다. 이 방법은 Market-1501과 DeepFashion에서 최신 기술 수준의 성능을 달성하며, 데이터 증강을 통해 사람 재식별 정확도를 효과적으로 향상시킨다.

ABSTRACT

This paper proposes a new generative adversarial network for pose transfer, i.e., transferring the pose of a given person to a target pose. We design a progressive generator which comprises a sequence of transfer blocks. Each block performs an intermediate transfer step by modeling the relationship between the condition and the target poses with attention mechanism. Two types of blocks are introduced, namely Pose-Attentional Transfer Block (PATB) and Aligned Pose-Attentional Transfer Bloc ~(APATB). Compared with previous works, our model generates more photorealistic person images that retain better appearance consistency and shape consistency compared with input images. We verify the efficacy of the model on the Market-1501 and DeepFashion datasets, using quantitative and qualitative measures. Furthermore, we show that our method can be used for data augmentation for the person re-identification task, alleviating the issue of data insufficiency. Code and pretrained models are available at https://github.com/tengteng95/Pose-Transfer.git.

연구 동기 및 목표

• 큰 자세 변화가 존재하는 상황에서도 정확한 자세 전달을 갖춘 사실적인 사람 이미지를 생성하는 데 도전하는 것.
• 지속적으로 국소 다양체 구조를 모델링하여 자세 전달 중 외관과 형태 일관성을 향상시키는 것.
• 원본과 대상 자세를 명시적으로 정렬하는 새로운 주의 메커니즘을 개발하여 더 나은 특징 전달을 가능하게 하는 것.
• 생성된 이미지가 사람 재식별 작업에서 데이터 증강에 효과적으로 활용될 수 있음을 입증하는 것.
• 계산 비용이 적고 해석이 가능한 프레임워크를 제안하여 주의 지도 기반의 자세 전달을 가능하게 하는 것.

제안 방법

• 이 방법은 연결된 전달 블록으로 구성된 점진적 생성자로, 전체 다양체 탐색을 단순화하기 위해 각 블록이 부분적인 전달 단계를 수행한다.
• 각 블록은 인간 자세를 기반으로 관심 영역을 추론하는 자세-주의 메커니즘을 사용하여 선택적 특징 전달을 가능하게 한다.
• 자세-주의 전달 블록(PATB)은 요소별 곱셈을 통해 주의 마스크를 사용해 외관 특징을 조절한다.
• 정렬된 자세-주의 전달 블록(APATB)은 원본과 대상 자세 간의 유사도 행렬을 계산하여 특징 샘플링 및 배치를 안내함으로써 명시적인 자세 정렬을 도입한다.
• APATB는 '샘플링-포지셔닝' 연산을 가능하게 하여 외관 특징을 대상 자세에 의해 결정된 공간적 위치로 이동시켜 특징 보존을 향상시킨다.
• 네트워크는 생성적 적대적 훈련과 GAN 손실을 사용하여 생성된 이미지의 현실성과 일관성을 향상시키기 위해 훈련된다.

실험 결과

연구 질문

• RQ1 큰 자세 변화가 존재하는 상황에서 점진적이고 블록 단위의 전달 전략이 사람 이미지 생성의 품질과 일관성을 향상시킬 수 있는가?
• RQ2 원본과 대상 자세를 유사도 행렬을 통해 명시적으로 정렬함으로써 자세 전달 중 외관 특징 보존이 향상되는가?
• RQ3 이 방법으로 생성된 이미지가 실제 데이터가 제한된 상황에서 사람 재식별 작업의 효과적인 데이터 증강으로 활용될 수 있는가?
• RQ4 이전의 최신 기술 수준의 자세 전달 모델과 비교하여 이 방법의 정량적 및 정성적 성능은 어떻게 되는가?
• RQ5 모델 성능이 자세 전이의 복잡성과 배경 일관성에 얼마나 의존하는가?

주요 결과

• 제안된 방법은 Market-1501 및 DeepFashion 데이터셋에서 이전 최신 기술 수준의 방법보다도 더 뛰어난 시각적 품질과 정량적 성능을 달성하며, 지표와 현실성 모두에서 승리한다.
• 정렬된 자세-주의 전달 블록(APATB)은 PATB보다 외관 일관성에서 뚜렷한 향상을 보이며, 특히 세밀한 디테일을 보존하는 데 유의미한 개선이 있다.
• 생성된 이미지를 활용한 데이터 증강은 사람 재식별 성능을 향상시키며, 다양한 데이터 분할에서 일관된 성과를 보이며, 특히 실제 데이터가 부족한 경우에 유의미한 개선이 있다.
• 생성된 데이터에서 얻는 성능 향상은 실제 데이터 증강과 유사한 수준이며, 특히 Inception-v2 모델에서 더 많은 생성 샘플이 추가될수록 선형적인 향상 경향을 보인다.
• 목표 자세가 전체 데이터셋에서 무작위로 샘플링되더라도 이 방법은 강력한 성능 유지를 유지하며, 다양한 자세 분포에 대한 강인함을 보여준다.
• APATN은 Market-1501에서 PATN에 비해 略적으로 성능이 열등하여 배경 장면의 과도한 단순화가 원인일 수 있으며, 향후 개선의 대상이 될 수 있다.