[논문 리뷰] Exploring Dual-task Correlation for Pose Guided Person Image Generation

Pengze Zhang, Lingxiao Yang외 2명|arXiv (Cornell University)|2022. 03. 06.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 원본에서 타깃으로의 자세 전이 과정에서 발생하는 부정확한 성질을 해결하기 위해 보조 학습 신호로 원본에서 원본으로의 재구성 작업을 도입함으로써 자세 유도 인물 이미지 생성을 위한 이중작업 포즈 트랜스포머 네트워크(DPTN)를 제안한다. 원본에서 타깃으로의 브랜치와 원본에서 원본으로의 브랜치 간에 가중치를 공유하고, 이중작업 상관관계를 활용하기 위해 포즈 트랜스포머 모듈(PTM)을 사용함으로써 DPTN은 질감 전달 성능을 향상시키고, 979만 개의 파라미터를 가진 더 현실적인 이미지를 생성하며, PSNR 및 LPIPS 측정치에서 최신 기술(SOTA)을 초월한다.

ABSTRACT

Pose Guided Person Image Generation (PGPIG) is the task of transforming a person image from the source pose to a given target pose. Most of the existing methods only focus on the ill-posed source-to-target task and fail to capture reasonable texture mapping. To address this problem, we propose a novel Dual-task Pose Transformer Network (DPTN), which introduces an auxiliary task (i.e., source-to-source task) and exploits the dual-task correlation to promote the performance of PGPIG. The DPTN is of a Siamese structure, containing a source-to-source self-reconstruction branch, and a transformation branch for source-to-target generation. By sharing partial weights between them, the knowledge learned by the source-to-source task can effectively assist the source-to-target learning. Furthermore, we bridge the two branches with a proposed Pose Transformer Module (PTM) to adaptively explore the correlation between features from dual tasks. Such correlation can establish the fine-grained mapping of all the pixels between the sources and the targets, and promote the source texture transmission to enhance the details of the generated target images. Extensive experiments show that our DPTN outperforms state-of-the-arts in terms of both PSNR and LPIPS. In addition, our DPTN only contains 9.79 million parameters, which is significantly smaller than other approaches. Our code is available at: https://github.com/PangzeCheung/Dual-task-Pose-Transformer-Network.

연구 동기 및 목표

• 인물 이미지 생성에서 원본에서 타깃으로의 자세 전이 과정이 일반적으로 비정상적인 성질을 띠며, 이로 인해 현실감 없는 질감과 잡음이 발생하는 문제를 해결한다.
• 기존 방법이 원본의 외관 세부 정보를 유지하지 못하는 큰 자세 변화가 발생할 때 질감 매핑의 정밀도를 향상시킨다.
• 공유된 가중치를 가진 자체 재구성 보조 작업(원본에서 원본으로)을 도입함으로써 원본에서 타깃으로의 생성기 학습을 안정화시킨다.
• 이중작업 특징 간의 세밀한 상관관계를 명시적으로 모델링함으로써 원본에서 타깃 브랜치의 특징 정제를 향상시킨다.
• 기존 방법보다 훨씬 적은 파라미터를 가진 가벼운 구조이면서도 최신 기술 성능을 달성하는 효과적인 아키텍처를 개발한다.

제안 방법

• 원본에서 원본으로의 자체 재구성 브랜치와 원본에서 타깃으로의 변환 브랜치를 가진 시아미즈 구조의 DPTN을 제안한다.
• 더 쉬운 원본에서 원본 작업에서 더 어려운 원본에서 타깃 작업으로 지식 정착을 가능하게 하기 위해 두 브랜치 간에 일부 가중치를 공유한다.
• 이중작업 간 특징 상관관계를 모델링하기 위해 컨텍스트 강화 블록(CABs)과 질감 전달 블록(TTBs)을 포함한 포즈 트랜스포머 모듈(PTM)을 설계한다.
• PTM에서 다중 헤드 교차 어텐션(MHCA)을 사용하여 원본에서 원본 브랜치와 원본에서 타깃 브랜치의 특징을 픽셀 수준에서 정렬한다.
• PTM에서 정제된 특징을 원본에서 타깃 브랜치에 통합하여 질감 세부 정보 생성을 향상시킨다.
• 각각 재구성에 대한 L1 손실과 현실감에 대한 인지 손실을 사용하는 별도의 손실 함수로 전체 네트워크를 훈련시켜 두 브랜치를 함께 최적화한다.

Figure 1 : Visual comparison of our method with other approaches, including vanilla CNN based [ 22 ] , attention based [ 45 ] , optical flow based [ 24 ] , and parsing map based [ 21 ] method. Compared with other methods, our model can generate more realistic images.

실험 결과

연구 질문

• RQ1 원본에서 원본으로의 자체 재구성 작업을 보조 학습 신호로 도입함으로써 자세 유도 인물 이미지 생성의 성능과 안정성을 향상시킬 수 있는가?
• RQ2 이중 작업에서 유도된 특징 간의 세밀한 상관관계를 모델링함으로써 생성된 이미지의 질감 전달과 세부 정보 유지에 어떤 영향을 미치는가?
• RQ3 이중작업 학습이 원본에서 타깃 생성 작업의 학습을 얼마나 안정화시키고, 모드 붕괴를 방지하는가?
• RQ4 단지 979만 개의 파라미터를 가진 가벼운 아키텍처가 기존의 더 큰 최신 기술 모델보다 정량적 및 정성적 측정치에서 뛰어난 성능을 낼 수 있는가?
• RQ5 제안된 포즈 트랜스포머 모듈(PTM)이 기하학적 일관성을 유지하면서도 원본에서 타깃으로의 질감 전달을 효과적으로 이끌 수 있는가?

주요 결과

• DPTN의 전체 모델은 DeepFashion 데이터셋에서 PSNR 19.1492와 LPIPS 0.1957을 기록하며, 모든 아블레이션 변형 및 최신 기술 방법을 능가한다.
• 아블레이션 연구 결과, 이중작업 학습을 제거하면(wo DTL) 학습이 불안정해지고 심한 잡음이 발생함을 확인하여, 이중작업 학습이 학습 안정성에 기여하는 바를 입증한다.
• PTM를 제거하면 질감 매핑이 열악해져 이미지가 흐려지며, PTM가 원본 외관 세부 정보 전달에 핵심적인 역할을 함을 입증한다.
• CABs를 제거한 모델은 원본에서 원본 지식을 효과적으로 통합하지 못해 생성된 이미지에 현실감 없는 패턴이 나타남을 보여주며, 이는 CABs의 중요성을 시사한다.
• 에코더를 제거한 모델(w/o En_s)은 세밀한 질감 신호를 상실하여 PTM에 원본 질감 정보를 공급하는 데서 중요한 역할을 함을 증명한다.
• 전체 모델은 DeepFashion에서 FID 점수 11.4664를 기록하며, 이중작업 학습을 통해 지속적인 성능 향상을 보였고, 단일작업 학습은 130 에포크 이후 붕괴되는 경향을 보였다.

Figure 2 : Overview of our model. It contains a self-reconstruction branch for auxiliary source-to-source task, and a transformation branch for source-to-target task. These two branches share partial weights and are communicated by a pose transformer module.