[논문 리뷰] Implicit Warping for Animation with Image Sets

Arun Mallya, Ting-Chun Wang외 1명|arXiv (Cornell University)|2022. 10. 04.

Human Pose and Action Recognition인용 수 8

한 줄 요약

이 논문은 단일 크로스모달 어텐션 레이어를 사용하여 드라이빙 비디오와의 대응 관계에 기반해 다수의 소스 이미지에서 특징을 선택하고 워핑하는 암묵적 워핑 프레임워크를 제안한다. 이로 인해 명시적인 워프링 예측 없이도 동적 특징 선택 기능을 제공함으로써 단일 및 다중 소스 이미지 애니메이션에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a new implicit warping framework for image animation using sets of source images through the transfer of the motion of a driving video. A single cross- modal attention layer is used to find correspondences between the source images and the driving image, choose the most appropriate features from different source images, and warp the selected features. This is in contrast to the existing methods that use explicit flow-based warping, which is designed for animation using a single source and does not extend well to multiple sources. The pick-and-choose capability of our framework helps it achieve state-of-the-art results on multiple datasets for image animation using both single and multiple source images. The project website is available at https://deepimagination.cc/implicit warping/

연구 동기 및 목표

• 기존의 워프 기반 이미지 애니메이션 방법이 각 소스별로 명시적인 워핑에 의존함에 따라 다수의 소스 이미지 처리에 어려움을 겪는 한계를 해결한다.
• 다양한 시야에서의 보완적 외관 및 자세 정보를 활용하여 소스 이미지 세트를 사용해 고해상도 이미지 애니메이션을 구현한다.
• 아키텍처 재설계나 특수한 수정 없이도 단일 소스에서 다중 소스 이미지로 자연스럽게 확장 가능한 통합 프레임워크를 개발한다.
• 다양한 소스에서 워핑된 특징을 평균화할 때 발생하는 특징 오정렬 및 일관성 없는 예측 문제를 해결한다.
• 동적 특징 선택을 통해 동일 신원 및 이종 신원 이동 전달 모두에서 뛰어난 시각적 품질을 달성한다.

제안 방법

• 드라이빙 이미지에서 쿼리를 계산하고 소스 이미지에서 키와 밸류를 계산하는 단일 크로스모달 어텐션 레이어를 사용하여 특징의 동시 선택과 워핑을 가능하게 한다.
• 어텐션 스코어를 활용해 소스 이미지와 드라이빙 이미지 간의 대응 관계를 암묵적으로 식별함으로써 명시적인 워프 추정을 회피한다.
• 어텐션 가중치에 기반해 다수의 소스 이미지에서 특징을 선택하고 조합함으로써 다양한 시야 간 '선택 및 조합' 메커니즘을 실현한다.
• 워핑된 특징과 어텐션 모듈 사이에 잔차 연결을 통합하여 구조적 세부 정보를 유지하고 학습 안정성을 향상시킨다.
• 특정 소스 특징이 누락되거나 가림당할 경우에도 특징 공유를 향상시키기 위해 학습 가능한 키-밸류 프로젝션을 도입한다.
• 관절점 위치와 그 가시성 강도를 스칼라 값으로 표현함으로써 전체 자코비안 행렬에 비해 표현 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 명시적인 워프링 예측 없이도 단일 및 다중 소스 이미지 설정에서 모두 뛰어난 이미지 애니메이션 품질을 달성할 수 있는 통합 프레임워크가 가능한가?
• RQ2 크로스모달 어텐션을 통한 암묵적 특징 선택이 명시적 워프 기반 워핑 대비 정밀도와 가림에 대한 내성성 측면에서 어떻게 비교되는가?
• RQ3 다수의 소스 이미지를 사용할 경우, 눈 색깔이나 배경 텍스처와 같은 복잡한 외관을 처리할 때 애니메이션 품질 향상 정도는 어느 정도인가?
• RQ4 각 이미지의 워프 감독 없이도 단일 어텐션 레이어가 다양한 소스 이미지 간의 대응 학습과 특징 워핑을 효과적으로 처리할 수 있는가?
• RQ5 외관과 운동이 분리된 상황인 이종 신원 이동 전달에서 제안된 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 단일 및 다중 소스 이미지 애니메이션 모두에서 여러 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 다중 소스 설정에서 사용자 선호도 점수가 91.4%에 이르렀다.
• 256×256 해상도의 TalkingHead-1KH 데이터셋에서, 기준 모델인 FOMM 대비 PSNR가 0.329 향상되고 FID는 1.726 감소하였으며, LPIPS는 0.009 감소하였다.
• 제거 실험을 통해 잔차 연결과 학습 가능한 키/밸류의 추가가 모든 지표 향상에 기여함을 확인하였으며, FID는 19.978에서 18.252로 감소하였다.
• 시각적 분석 결과, 이전 방법이 환영이나 흐릿한 출력을 생성하는 데 반해, 본 방법은 적절한 소스 이미지에서 특징을 선택함으로써 눈 색상과 배경 텍스처를 정확히 유지함을 보였다.
• 네트워크는 가시성과 자세에 따라 관절점 강도 값을 조정함으로써, 가림이나 극단적인 시점에서도 견고한 특징 표현을 가능하게 하였다.
• 다양한 시야에서의 보완적 특징을 활용함으로써 환영을 줄였으며, 그 결과 Fig. 4에서 다수의 소스 영역이 출력에 기여하는 일관된 특징 빌로우 패턴을 보였다.