[논문 리뷰] Hallo: Hierarchical Audio-Driven Visual Synthesis for Portrait Image Animation

Mingwang Xu, Hui Li외 7명|arXiv (Cornell University)|2024. 06. 13.

Music and Audio Processing인용 수 5

한 줄 요약

이 논문은 Hallo라는 엔드-투-엔드 확산 기반 프레임워크를 제시합니다. 계층적 오디오 주도 시각 합성으로 립, 표정, 포즈 정렬을 위한 초상 애니메이션을 ReferenceNet과 시간적 정렬을 사용하여 높은 충실도와 다양한 모션을 구현합니다.

ABSTRACT

The field of portrait image animation, driven by speech audio input, has experienced significant advancements in the generation of realistic and dynamic portraits. This research delves into the complexities of synchronizing facial movements and creating visually appealing, temporally consistent animations within the framework of diffusion-based methodologies. Moving away from traditional paradigms that rely on parametric models for intermediate facial representations, our innovative approach embraces the end-to-end diffusion paradigm and introduces a hierarchical audio-driven visual synthesis module to enhance the precision of alignment between audio inputs and visual outputs, encompassing lip, expression, and pose motion. Our proposed network architecture seamlessly integrates diffusion-based generative models, a UNet-based denoiser, temporal alignment techniques, and a reference network. The proposed hierarchical audio-driven visual synthesis offers adaptive control over expression and pose diversity, enabling more effective personalization tailored to different identities. Through a comprehensive evaluation that incorporates both qualitative and quantitative analyses, our approach demonstrates obvious enhancements in image and video quality, lip synchronization precision, and motion diversity. Further visualization and access to the source code can be found at: https://fudan-generative-vision.github.io/hallo.

연구 동기 및 목표

• 중간 얼굴 표현을 제거하고 엔드-투-엔드 확산을 이용한 고현실성의 초상 이미지 애니메이션을 구현한다.
• 계층적 크로스-어텐션을 통해 입술, 표정, 머리 포즈 간의 오디오-시각 정합을 정밀하게 달성한다.
• 개인화된 아이덴티티를 위해 표현과 포즈 다양성에 대한 적응적 제어를 가능하게 한다.
• 연설 음성에 의해 구동되는 말하는 머리 동영상에서 시간적 일관성 및 시각적 충실도를 개선한다.

제안 방법

• 엔드-투-엔드 프레임워크에서 UNet 기반 디오너를 갖춘 잠재 확산 모델을 사용한다.
• 오디오와 립, 표정, 포즈 특성 간의 교차 주의를 통해 계층적 오디오 주도 시각 합성을 도입한다.
• 얼굴 인코더로 아이덴티티를 인코딩하고 wav2vec로 오디오를 인코딩한 다음 계층적 교차 주의를 통해 융합한다.
• 참조 네트워크(ReferenceNet)를 도입해 참조 이미지와 영상의 시간적 정합으로 생성 가이드를 제공한다.
• 입술/표정/포즈에 대한 패치 기반 지역적 주의(Mask 기반)와 적응 융합으로 오디오에서 모션을 유도한다.
• Encoder를 고정한 단일 프레임 생성으로 두 단계로 훈련한 후, 계층적 오디오-비주얼 교차 주의를 활용한 비디오 시퀀스 훈련을 수행한다.

Figure 1 : The proposed methodology aims to generate portrait image animations that are temporally consistent and visually high-fidelity. This is achieved by utilizing a reference image, an audio sequence, and optionally, the visual synthesis weight in conjunction with a diffusion model based on the

실험 결과

연구 질문

• RQ1 오디오로 구동되는 확산 기반 말하는 얼굴 파이프라인에서 빠른 립 싱크, 현실적인 표정, 자연스러운 머리 움직임을 어떻게 달성할 수 있는가?
• RQ2 계층적 오디오-비주얼 교차 주의가 아이덴티티에 상관없이 오디오 입력과 시각적 립/눈/입 모션 간 정합을 개선할 수 있는가?
• RQ3 참조 가이드 및 시간적 정합이 생성된 인물 영상의 충실도와 일관성에 어떤 영향을 미치는가?

주요 결과

Table	FID ↓	FVD ↓	Sync-C ↑	Sync-D ↓	E-FID ↓
SadTalker (HDtf)	22.340	203.860	7.885	7.545	9.776
Audio2Head (HDtf)	37.776	239.860	8.024	7.145	17.103
DreamTalk (HDtf)	78.147	790.660	6.376	8.364	15.696
AniPortrait (HDtf)	26.561	234.666	4.015	10.548	13.754
Ours	20.545	173.497	7.750	7.659	7.951
SadTalker (CelebV)	50.015	471.163	6.922	7.921	95.194
Audio2Head (CelebV)	84.793	457.499	8.024	7.145	153.618
DreamTalk (CelebV)	109.011	988.539	5.709	8.743	153.450
AniPortrait (CelebV)	46.915	477.179	2.853	11.709	88.986
Ours (CelebV)	44.578	377.117	7.191	7.984	78.495
SadTalker (Wild)	24.212	249.786	6.613	8.099	37.324
Audio2Head (Wild)	61.510	383.178	5.719	8.585	66.116
DreamTalk (Wild)	128.423	964.088	5.925	8.596	58.180
AniPortrait (Wild)	24.118	250.770	3.043	10.997	37.806
Ours (Wild)	23.266	239.647	6.924	7.969	34.731
Full (Ablation)	20.581	193.062	6.499	8.691	9.133

• Hallo는 여러 데이터셋에서 여러 베이스라인에 비해 FID와 FVD가 더 낮고 립-싱크 지표가 경쟁력이 있거나 우수하다.
• 이 방법은 강력한 립 싱크(Sync-C) 및 수용 가능한 Sync-D 점수를 보여주며 시간적 일관성(FVD)과 이미지 충실도(FID)에서 뚜렷한 개선을 보인다.
• 절제 효과(Ablation)가 립, 표정, 포즈 교차 주의를 포함하면 전반적인 품질과 싱크가 개선되거나 유지되며, 전체 계층 구조가 최상의 결과를 낳는다.
• 개인맞춤화를 아이덴티티별 정제로 지원하여 다양한 초상 스타일과 오디오 입력에서 높은 품질 출력을 유지한다.

Figure 2 : The overview of the proposed pipeline. Specifically, we integrates a reference image containing a portrait with corresponding audio input to drive portrait animation. Optional visual synthesis weights can be used to balance lip, expression, and pose weights. ReferenceNet encodes global vi