[논문 리뷰] Unsupervised Video-to-Video Translation

Dina Bashkirova, Ben Usman외 1명|arXiv (Cornell University)|2018. 06. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 9인용 수 15

한 줄 요약

이 논문은 비지도 비디오 간 번역을 새로운 과제로 제안하며, 공간-시간 일致성을 유지하기 위해 전체 비디오 시퀀스를 3D 텐서로 처리하는 3D 컨volution 신경망(3D CycleGAN)을 제안한다. 이 방법은 프레임 단위 번역에 비해 운동 연속성, 물체 외형, 구조 일관성 측면에서 뚜렷하게 우수한 성능을 보이며, 특히 합성 및 의료 영상 데이터셋에서 두각을 나타낸다.

ABSTRACT

Unsupervised image-to-image translation is a recently proposed task of translating an image to a different style or domain given only unpaired image examples at training time. In this paper, we formulate a new task of unsupervised video-to-video translation, which poses its own unique challenges. Translating video implies learning not only the appearance of objects and scenes but also realistic motion and transitions between consecutive frames.We investigate the performance of per-frame video-to-video translation using existing image-to-image translation networks, and propose a spatio-temporal 3D translator as an alternative solution to this problem. We evaluate our 3D method on multiple synthetic datasets, such as moving colorized digits, as well as the realistic segmentation-to-video GTA dataset and a new CT-to-MRI volumetric images translation dataset. Our results show that frame-wise translation produces realistic results on a single frame level but underperforms significantly on the scale of the whole video compared to our three-dimensional translation approach, which is better able to learn the complex structure of video and motion and continuity of object appearance.

연구 동기 및 목표

• 비지도 비디오 간 번역을 새로운 과제로 정의하여, 쌍이 없는 데이터로 이미지 간 번역을 비디오로 확장한다.
• 쌍이 없는 예시가 있을 때 비디오 프레임 간의 운동 일관성과 물체 외형 유지를 해결하는 과제를 다룬다.
• 전역 운동 패턴과 시간적 일관성을 포착하는 공간-시간 3D 번역 모델을 개발한다.
• 합성, 현실적, 의료 영상 비디오 데이터셋(신규 MRI-to-CT 부피 데이터셋 포함)에서 모델을 평가한다.
• 트레이닝 배치의 구조가 프레임 단위 번역 모델의 안정성과 성능에 미치는 영향을 조사한다.

제안 방법

• 비디오 시퀀스를 공간-시간 차원(높이 × 너비 × 시간)으로 간주하는 3D 컨볼루션 신경망(3D CycleGAN)을 제안하여 통합 공간-시간 번역을 수행한다.
• 이미지 간 번역에서 유도된 사이클 일관성 손실을 비디오에 적용하기 위해 전체 비디오 시퀀스에서 $F(G(y)) = y$ 및 $G(F(x)) = x$ 를 강제로 적용한다.
• 스패티오-타임 아티팩트를 줄이고 생성된 비디오의 스무쓰함을 향상시키기 위해 총 변동성 손실을 도입한다.
• 학습 중 순차적 배치 선택을 적용하여 동일한 비디오의 프레임을 함께 그룹화함으로써 기울기 일관성과 모델 안정성을 향상시킨다.
• 생성된 비디오가 실제 비디오와 구별되지 않도록 3D 비디오 볼륨을 대상으로 하는 판별기와 함께 적대적 학습을 수행한다.
• 세그멘테이션 간 번역 및 비디오 간 번역 과제에서 의미적 구조의 유지 여부를 평가하기 위해 레이블 노이즈 제거 및 구조적 메트릭을 적용한다.

실험 결과

연구 질문

• RQ1 3D 비디오 번역 모델은 쌍이 없는 예시가 있을 때에도, 비디오 간 프레임 단위 이미지 간 번역 방법보다 운동 연속성과 물체 일관성을 더 잘 유지할 수 있는가?
• RQ2 트레이닝 배치의 구조(예: 순차적 대비 무작위)는 프레임 단위 번역 모델의 성능에 어떤 영향을 미치는가?
• RQ3 쌍이 없는 예시가 있을 때 3D CycleGAN은 전역 운동 패턴을 얼마나 잘 학습할 수 있는가?
• RQ4 실제 및 의료 부피 영상 번역 과제에서 3D 모델은 비디오 간 프레임 단위 기반 모델 대비 얼마나 우수한 성능을 보이는가?
• RQ5 순차적 배치 선택은 비디오 간 프레임 단위 번역 모델의 안정성과 현실성 향상에 기여하는가?

주요 결과

• 3D CycleGAN 모델은 모든 데이터셋에서 프레임 단위 방법에 비해 뚜렷이 뛰어난 성능을 보였으며, 인간 평가에서도 그 결과를 더 선호하는 경향을 보였다.
• 부피형 MNIST 데이터셋에서 3D CycleGAN은 완벽하게 시간적 순서 패턴을 포착했고, 프레임 단위 모델은 올바른 순서를 학습하지 못했다.
• GTA 비디오 색상화 과제에서 3D 모델은 비디오 간 프레임 단위 방법에서 흔히 발생하는 번짐 및 기형 아티팩트를 제거하여 더 스무쓰하고 일관성 있는 색상화를 구현했다.
• MRI-to-CT 번역 과제에서 3D 모델은 무작위 기반 모델에 비해 통계적으로 유의미하게 높은 성능을 보였으며, 특히 두개골과 비강 구조와 같은 해부학적 구조의 유지에 뛰어난 성능을 보였다.
• 순차적 배치 선택은 비디오 간 프레임 단위 모델의 성능을 향상시켜, 배치 유사성이 학습 안정성 향상과 운동 아티팩트 감소에 기여한다는 점을 시사했다.
• 세그멘테이션 간 번역 과제에서 3D 모델은 더 정확하고 안정적인 결과를 도출했으며, 비디오 간 프레임 단위 기반 모델 대비 낮은 픽셀 전이 행렬 거리($||\pi_{\text{gt}} - \pi_A||_2$)를 기록했다.