[논문 리뷰] Multigrid Predictive Filter Flow for Unsupervised Learning on Videos

Shu Kong, Charless C. Fowlkes|arXiv (Cornell University)|2019. 04. 02.

Advanced Vision and Imaging참고 문헌 102인용 수 16

한 줄 요약

이 논문은 다중 해상도 및 공유 가중치 워핑을 통해 프레임을 재구성하기 위한 픽셀별 필터 예측을 수행하는 컴act하고 비지도 학습 기반의 비디오 학습 프레임워크인 Multigrid Predictive Filter Flow (mgPFF)를 제안한다. 256×256 프레임에서 4.6MB 모델 크기와 0.1초의 추론 시간으로 비디오 객체 분할, 자세 추적, 장거리 프레임 재구성에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We introduce multigrid Predictive Filter Flow (mgPFF), a framework for unsupervised learning on videos. The mgPFF takes as input a pair of frames and outputs per-pixel filters to warp one frame to the other. Compared to optical flow used for warping frames, mgPFF is more powerful in modeling sub-pixel movement and dealing with corruption (e.g., motion blur). We develop a multigrid coarse-to-fine modeling strategy that avoids the requirement of learning large filters to capture large displacement. This allows us to train an extremely compact model (4.6MB) which operates in a progressive way over multiple resolutions with shared weights. We train mgPFF on unsupervised, free-form videos and show that mgPFF is able to not only estimate long-range flow for frame reconstruction and detect video shot transitions, but also readily amendable for video object segmentation and pose tracking, where it substantially outperforms the published state-of-the-art without bells and whistles. Moreover, owing to mgPFF's nature of per-pixel filter prediction, we have the unique opportunity to visualize how each pixel is evolving during solving these tasks, thus gaining better interpretability.

연구 동기 및 목표

• 자기 운동과 같은 구조적 제약 없이 자유형 비구조적 레이블 없는 비디오에서 비지도 비디오 표현 학습의 과제를 해결한다.
• 표준 공간 변환기 레이어의 한계를 극복한다. 이는 큰 이동 거리에 대해 열악한 기울기 신호와 역행 불가능성 문제를 포함한다.
• 좌표 오프셋 대신 픽셀별 필터 예측을 통해 서브픽셀 및 큰 이동 거리의 운동을 정확하게 모델링할 수 있도록 한다.
• 다중 격자에서의 코arse-to-fine 필터링을 통해 공유 가중치를 활용하여 계산 비용과 모델 크기를 줄이는 효율적이고 컴팩트한 모델을 개발한다.
• 피팅 트레이닝 없이도 비디오 객체 분할 및 인간 자세 추적과 같은 후행 작업에서 강력한 제로샷 전이 성능을 입증한다.

제안 방법

• 기존의 공간 변환기 레이어를 픽셀별 필터 예측으로 대체한다: 각 출력 픽셀에 대해 11×11 필터 가중치를 예측하여 입력 프레임으로부터 가중 평균을 통해 프레임을 재구성한다.
• 표준 플로우 추정의 순서를 뒤바꾸어 적용한다: 좌표 오프셋을 예측하고 나서 보간하는 대신, 플로우를 암묵적으로 정의하는 필터 가중치를 직접 예측한다.
• 큰 이동 거리를 처리하기 위해 다중 격자 전략을 사용한다: 입력 프레임을 다중 해상도(粗에서 細로)로 처리하고, 각 해상도에서 고정된 11×11 필터 커널을 사용하며, 결과를 조합하여 최종 플로우 필드를 구성한다.
• 스케일 간 가중치 공유를 통해 모델 크기를 크게 줄인다—결과적으로 4.6MB의 모델이 되었으며, 성능 유지에 기여한다.
• 비대응 프레임 간의 광학적 재구성 손실을 사용하여 엔드 투 엔드로 훈련함으로써, 쌍이 없는 비디오 프레임에서의 비지도 사전 훈련이 가능하다.
• 식 (6)을 통해 예측된 필터 플로우를 좌표 플로우로 변환하여 이중선형 샘플링을 사용한 미분 가능 워핑을 가능하게 한다.

실험 결과

연구 질문

• RQ1 픽셀별 필터 예측이 큰 이동 거리나 서브픽셀 운동에 대해 표준 공간 변환기 레이어를 능가할 수 있는가?
• RQ2 공유 가중치를 갖는 다중 격자 아키텍처는 큰 필터 커널이나 광범위한 감독 없이도 장거리 운동을 효율적으로 모델링할 수 있는가?
• RQ3 제안된 mgPFF 프레임워크는 비지도 설정에서 비디오 객체 분할 및 인간 자세 추적과 같은 후행 작업으로 일반화될 수 있는가?
• RQ4 mgPFF는 단지 짧은 프레임 쌍에서만 훈련되었음에도 불구하고, 광학 플로우 기반 모델과 비교해 장거리 프레임 재구성에서 어떻게 성능을 내는가?
• RQ5 픽셀별 필터의 진화를 통해 운동 역학을 이해하는 데 도움이 되는 해석 가능한 통찰을 제공할 수 있는가?

주요 결과

• DAVIS2017 검증 세트에서 mgPFF는 5프레임 간격 시 픽셀 단위 L1 재구성 오차 7.32, 10프레임 간격 시 8.83을 기록하여 FlowNet2(62.4 및 90.3), CycleTime(60.4 및 76.4) 및 기타 기준 모델들을 크게 앞서간다.
• 피팅 트레이닝 없이도 JHMDB 데이터셋에서 비디오 객체 분할 및 인간 자세 추적에서 최신 기술 수준의 성능을 달성하였으며, ColorPointer 및 CycleTime와 같은 기존 방법들을 능가한다.
• 초기화 시 첫 번째 프레임의 마스크만 사용해도 추적 성능이 향상됨을 확인하여, 물체의 운동과 가림 현상에 대해 뛰어난 내성성을 보였다.
• 실패 사례는 주로 심한 가림, 운동 블러 또는 물체가 이미지 경계를 벗어나는 경우에 발생하여 극단적인 시각적 열화 상황에서의 한계를 시사한다.
• 모델는 매우 효율적이다: 256×256 이미지에서 0.1초 내로 실행되며, 공유 가중치와 다중 해상도 필터링 덕분에 크기가 단 4.6MB 뿐이다.
• 픽셀별 필터 진화의 시각화 결과는 이해할 수 있는 운동 패턴을 보이며, 시간에 따라 개별 픽셀이 어떻게 추적되고 변환되는지에 대한 통찰을 제공한다.