[논문 리뷰] A filter based approach for inbetweening

Yuichi Yagi|arXiv (Cornell University)|2017. 06. 12.

Advanced Vision and Imaging참고 문헌 3인용 수 3

한 줄 요약

이 논문은 선형 애니메이션의 보간을 위해 선 대응 관계나 위상적 변화를 명시적으로 계산하지 않고도 필터 기반의 컨volution 신경망(CNN) 방법을 제안한다. 스캔된 프레임을 공간 가중 손실과 데이터 증강을 사용하여 저해상도 및 고해상도 두 가지 브랜치로 구성된 CNN을 훈련시킴으로써, 입력 프레임이 유사할 경우 특히 매끄럽고 인지적으로 타당한 중간 프레임을 생성한다.

ABSTRACT

We present a filter based approach for inbetweening. We train a convolutional neural network to generate intermediate frames. This network aim to generate smooth animation of line drawings. Our method can process scanned images directly. Our method does not need to compute correspondence of lines and topological changes explicitly. We experiment our method with real animation production data. The results show that our method can generate intermediate frames partially.

연구 동기 및 목표

• 명시적 선 매칭과 위상적 변화 모델링을 회피하는 직접적인 래스터 기반 보간 방법을 개발한다.
• 벡터화되거나 사전 처리된 입력이 필요로 하지 않는 스캔된 애니메이션 프레임을 처리할 수 있도록 한다.
• 이중 스케일 CNN 아키텍처와 공간 가중 손실 함수를 통해 훈련 효율성과 출력 품질을 향상시킨다.
• 실제 TV 애니메이션 데이터(스캔된 비디오 및 셀 기반 프레임 포함)를 대상으로 방법을 평가한다.
• 최소한의 수동 간섭으로 생산 파이프라인에서 자동 보간을 위한 딥러닝의 가능성을 탐색한다.

제안 방법

• 저해상도 네트워크는 특징 추출, 고해상도 네트워크는 출력 정밀화를 위한 이중 브랜치 CNN을 사용한다.
• ReLU 활성화 함수를 사용하는 3×3 컨볼루션과 이중선형 보간을 통해 공간 해상도를 증가시킨다.
• 선 근처 영역에 중점을 두는 공간 가중 손실 함수를 적용하며, 스캔된 프레임과 셀 기반 입력에 대해 별도의 수식을 사용한다.
• 일반화 및 훈련 안정성 향상을 위해 무작위 이동과 회전을 통한 데이터 증강을 구현한다.
• He 초기화를 적용하고, 컨볼루션 이전에 패딩을 추가하며, Adam 최적화를 사용해 네트워크를 엔드 투 엔드로 훈련시킨다.
• 연쇄적 추론을 통해 중간 프레임을 생성한다: f_{i+1/2} = CNN(f_i, f_{i+1})이며, 더 높은 프레임 레이트 출력을 위해 f_{i+1/4} 및 f_{i+3/4}도 생성한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 명시적 선 대응 계산 없이 선 도면에 대해 타당한 중간 프레임을 생성할 수 있는가?
• RQ2 저해상도 및 고해상도 스트림을 갖춘 이중 브랜치 CNN 아키텍처는 세부 사항을 유지하면서 계산 부담을 줄이는 데 얼마나 효과적인가?
• RQ3 공간 가중 손실 함수는 생성된 보간 프레임의 인지적 품질을 얼마나 향상시키는가?
• RQ4 무작위 이동과 회전을 통한 데이터 증강이 실제 애니메이션 데이터에서 모델 일반화 능력을 향상시키는 데 기여하는가?
• RQ5 입력 프레임이 매우 유사할 경우 실제 생산 데이터에서 이 방법의 성능은 어떠한가?

주요 결과

• 입력 프레임이 충분히 유사할 경우, 이 방법은 선 도면에 대해 중간 프레임을 성공적으로 생성하지만 결과는 부분적으로 불완전하다.
• 스캔된 비디오 프레임(1754×1240)에 대해, 테스트 클립에서 4배 프레임 레이트 향상을 달성했으며, 클립당 추론 시간은 1~2분이 소요되었다.
• 공간 가중 손실 함수의 사용으로 선 영역에 대한 집중이 향상되어 블러 감소와 구조적 정밀도 향상이 이루어졌다.
• 무작위 이동(δ=40)을 통한 데이터 증강이 모델의 강건성을 향상시켰지만, 초기 비디오 실험에서는 회전 증강을 사용하지 않았다.
• 이중 스케일 CNN 아키텍처는 계산 부담을 줄이면서도 출력 품질을 유지했으며, 단일 GTX TITAN X GPU에서 훈련이 수행되었다.
• 이 방법은 고프레임 레이트 또는 슬로우모션 애니메이션 제작에 잠재력을 보였지만, 일반화 및 완전성의 한계로 인해 기존 보간 워크플로우의 직접 대체에는 부적합했다.