[논문 리뷰] AuxAdapt: Stable and Efficient Test-Time Adaptation for Temporally Consistent Video Semantic Segmentation

Yizhe Zhang, Shubhankar Borse외 2명|arXiv (Cornell University)|2021. 10. 24.

Advanced Image Processing Techniques인용 수 5

한 줄 요약

AuxAdapt는 영상 세분화에서 시간적 일관성을 높이기 위해 광범위한 옵티컬 플로우나 프레임 간 특징을 사용하지 않고도 안정적이고 효율적인 테스트 시점 적응 방법을 제안한다. 주 네트워크가 동결된 상태에서 실시간으로 업데이트되는 경량 보조 네트워크(AuxNet)를 사용함으로써, 최신 기술 대비 약 5배 적은 계산 부하로 시간적 일관성에서 뚜렷한 향상을 이룬다.

ABSTRACT

In video segmentation, generating temporally consistent results across frames is as important as achieving frame-wise accuracy. Existing methods rely either on optical flow regularization or fine-tuning with test data to attain temporal consistency. However, optical flow is not always avail-able and reliable. Besides, it is expensive to compute. Fine-tuning the original model in test time is cost sensitive. This paper presents an efficient, intuitive, and unsupervised online adaptation method, AuxAdapt, for improving the temporal consistency of most neural network models. It does not require optical flow and only takes one pass of the video. Since inconsistency mainly arises from the model's uncertainty in its output, we propose an adaptation scheme where the model learns from its own segmentation decisions as it streams a video, which allows producing more confident and temporally consistent labeling for similarly-looking pixels across frames. For stability and efficiency, we leverage a small auxiliary segmentation network (AuxNet) to assist with this adaptation. More specifically, AuxNet readjusts the decision of the original segmentation network (Main-Net) by adding its own estimations to that of MainNet. At every frame, only AuxNet is updated via back-propagation while keeping MainNet fixed. We extensively evaluate our test-time adaptation approach on standard video benchmarks, including Cityscapes, CamVid, and KITTI. The results demonstrate that our approach provides label-wise accurate, temporally consistent, and computationally efficient adaptation (5+ folds overhead reduction comparing to state-of-the-art test-time adaptation methods).

연구 동기 및 목표

• 신뢰할 수 없거나 비싼 옵티컬 플로우에 의존할 경우 발생하는 영상 세분화의 시간적 비일관성 문제를 해결하기 위해.
• 주 세분화 네트워크를 수정하지 않고도 효율적이고 비지도이며 온라인으로 작동하는 적응 방법을 개발하기 위해.
• 기존의 테스트 시점 적응 방법(DVP 등)이 테스트 영상에서 광범위한 재학습이 필요로 하는 것과 비교해 계산 비용을 줄이기 위해.
• 모델의 불확실성과 신뢰도 기반 샘플링을 활용해, 프레임당 한 번의 전방 계산만으로도 안정적인 적응을 가능하게 하기 위해.

제안 방법

• AuxAdapt는 미리 학습된 주 네트워크(MainNet)와 함께 작동하는 경량 보조 세분화 네트워크(AuxNet)를 도입하며, 추론 중에는 MainNet이 동결된 상태를 유지한다.
• 각 프레임에서 AuxNet만 역전파를 통해 업데이트되며, 이는 MainNet의 예측과 MainNet 및 AuxNet의 융합 출력 간의 차이를 기반으로 한 손실 함수에 기반한다.
• 최종 세분화 결과는 MainNet과 AuxNet 출력의 가중합으로 계산되며, 이로써 AuxNet이 MainNet의 예측에서 발생하는 비일관성을 수정한다.
• 효율성을 높이기 위해 신뢰도 기반 공간 샘플링을 적용하여, 낮은 신뢰도를 가진 픽셀들만 업데이트함으로써 계산량을 줄인다.
• 움직임에 적응하는 동적 모멘타를 사용해 AuxNet의 학습률을 실시간으로 조정함으로써 다양한 영상 시퀀스에서 시간적 일관성과 정확도 사이의 균형을 유지한다.
• 이 방법은 온라인 스트리밍 방식으로 적용되며, 영상 한 번의 통과만 필요하고 옵티컬 플로우나 특징 매칭 기술을 사용하지 않는다.

Figure 1 : Segmentations of two pairs of consecutive video frames. Columns 1 and 3 show the results of the state-of-the-art HRNet-w48 model [ 40 ] . Columns 2 and 4 are obtained by applying our efficient AuxAdapt to HRNet-48. As visible, AuxAdapt improves the temporal consistency significantly.

실험 결과

연구 질문

• RQ1 옵티컬 플로우나 프레임 간 대응 관계에 의존하지 않고도 영상 세분화의 안정적이고 효율적인 테스트 시점 적응을 달성할 수 있는가?
• RQ2 추론 중에 모델 자체의 예측만을 사용해 시간적 일관성을 어떻게 향상시킬 수 있는가?
• RQ3 경량 보조 네트워크가 최소한의 계산 부하로 동결된 주 네트워크의 비일관성을 효과적으로 수정할 수 있는가?
• RQ4 공간 하위샘플링과 적응형 모멘타의 영향은 테스트 시점 적응의 효율성과 성능에 어떤 영향을 미치는가?

주요 결과

• HRNet-w48-s4를 사용하여 Cityscapes에서 75.8%의 시간적 일관성(TC) 점수, KITTI에서 63.5%를 기록하며 기존 기준 방법들을 뛰어넘는 성능을 달성했다.
• DVP와 같은 최신 기술 대비 약 5배 이상 계산 부하를 줄였으며, KITTI에서 189 GMACs/F의 낮은 계산 비용을 기록했다.
• 신뢰도 기반 샘플링 덕분에 KITTI에서 업데이트되는 픽셀 수가 최대 82% 감소했으며, 높은 TC 향상 수준을 유지함으로써 효율성이 향상되었다.
• 움직임에 적응하는 모멘타는 TC와 mIoU 사이의 균형을 개선하여, 고정된 모멘타 설정보다 다양한 데이터셋에서 뛰어난 성능을 보였다.
• 10프레임마다만 업데이트하는 간헐적 적응 조건에서도 AuxAdapt는 강력한 TC 향상을 유지했으며, Cityscapes에서는 74.7%, KITTI에서는 59.9%의 TC 점수를 확보했다. 이는 업데이트 빈도에 대해 뛰어난 내성성을 보임을 의미한다.
• 도메인 간 적응(Cityscapes → KITTI) 상황에서도 mIoU(65.8%)를 유지하면서 TC를 57.4%에서 63.5%로 향상시켰으며, 전체 미세조정에서 관찰되는 과적합 현상을 피할 수 있었다.

Figure 2 : Left: Deep Video Prior (DVP) [ 25 ] first applies the original network to all video frames. The outputs, together with the corresponding inputs, are collected to form a training set. A new network is then trained based on this set using at least 25 epochs. Finally, the retrained network i