[논문 리뷰] Unsupervised Moving Object Detection via Contextual Information Separation

Yanchao Yang, Antonio Loquercio외 2명|Zurich Open Repository and Archive (University of Zurich)|2019. 01. 10.

Anomaly Detection Techniques and Applications참고 문헌 33인용 수 6

한 줄 요약

이 논문은 적대적 문맥 정보 분리를 활용하는 비지도 이동 객체 검출 방법을 제안한다: 생성자 네트워크는 주변 문맥에서 옵티컬 플로우를 예측하여 객체 마스크를 생성하고, 인painter 네트워크는 외부 문맥만을 사용하여 마스킹된 플로우를 재구성하려고 시도한다. 이 모델은 어떤 지도 학습도 필요로 하지 않으며, 적대적 훈련을 통해 전경과 배경 가설 간의 암묵적 경쟁을 이용함으로써 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

We propose an adversarial contextual model for detecting moving objects in images. A deep neural network is trained to predict the optical flow in a region using information from everywhere else but that region (context), while another network attempts to make such context as uninformative as possible. The result is a model where hypotheses naturally compete with no need for explicit regularization or hyper-parameter tuning. Although our method requires no supervision whatsoever, it outperforms several methods that are pre-trained on large annotated datasets. Our model can be thought of as a generalization of classical variational generative region-based segmentation, but in a way that avoids explicit regularization or solution of partial differential equations at run-time.

연구 동기 및 목표

• 대규모 레이블링된 데이터셋에서 사전 훈련이 필요 없는 완전히 비지도 이동 객체 검출 방법을 개발하는 것.
• 추가 정규화, 하이퍼파rameter 튜닝, 또는 추론 시 편미분 방정식을 해결할 필요를 제거하는 것.
• 운동의 독립성을 모델링함으로써 강력하고 임계값이 없는 전경/배경 분할을 가능하게 하는 것.
• 깊이 신경망을 활용하여 효율적이고 확장 가능한 추론을 유지하면서도 다양한 시나리오에 대해 강력한 일반화 성능을 확보하는 것.
• 어떤 지도 학습도 없는 상황에서 벤치마크 데이터셋에서 경쟁 가능한 성능을 달성하는 것.

제안 방법

• 이 방법은 다른 영역의 문맥 정보만을 사용하여 영역 내 옵티컬 플로우를 예측함으로써 객체 마스크를 생성하는 생성자 네트워크를 사용한다.
• 적대적 인페인팅 네트워크는 주변 문맥만을 사용하여 마스킹된 옵티컬 플로우를 재구성하도록 훈련되며, 이는 생성자가 인페인팅 네트워크를 오도할 수 있도록 정확한 마스크를 생성하도록 유도한다.
• 생성자와 인페인팅 네트워크는 적대적 방식으로 공동으로 훈련되며, 생성자는 인페인팅 네트워크가 재구성에 실패하도록 마스크를 생성하는 것을 목표로 한다.
• 아키텍처는 두 네트워크 모두에 인코더-디코더 구조와 스킵 연결을 사용하며, 인페인팅 네트워크는 향상된 문맥 모델링을 위해 두 개의 별도된 인코딩 브랜치를 갖는다.
• 훈련 목표는 인페인팅 네트워크의 재구성 오차를 최소화하면서 동시에 생성자가 관련 플로우 정보를 은폐하는 능력을 극대화하는 데 있다.
• 예측 마스크의 정밀도를 향상시키기 위해 양방향 상호작용 잠재변수를 갖는 CRF를 후처리 단계에서 적용한다.

실험 결과

연구 질문

• RQ1 지문 정보와 적대적 훈련만을 사용하여 지도 학습 없이도 이동 객체 검출을 달성할 수 있는가?
• RQ2 대규모 레이블링된 데이터셋에서 사전 훈련이 없는 모델이 지도 기반 베이스라인을 초월할 수 있는가?
• RQ3 적대적 문맥 분리로 전경과 배경 운동 간의 독립성을 강제하면 강력하고 일반화 가능한 분할이 가능해지는가?
• RQ4 명시적 정규화, 편미분 방정식, 하이퍼파rameter 튜닝 없이도 높은 성능을 유지할 수 있는가?
• RQ5 이 방법은 다양한 시나리오, 음영, 복잡한 운동 패턴에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 DAVIS2016에서 최신 기술 수준의 성능을 달성하였으며, 평균 재현율 지수(J)는 71.5%이고 F-측정치(F)는 86.5%로, 많은 지도 기반 베이스라인을 능가한다.
• FBMS59에서는 평균 J가 63.6%이고 F는 78.2%를 기록하여 다양한 영상 시퀀스에 걸쳐 강력한 일반화 성능을 보였다.
• 전경과 배경 운동이 완전히 독립된 이상적인 조건에서는 거의 완벽한 분할 성능를 달성하여 핵심 가정의 타당성을 확인하였다.
• 정성적 결과를 통해 부분적인 음영, 복잡한 경계, 다중 척도 객체와 같은 어려운 케이스에 대해서도 모델이 잘 일반화됨을 확인하였다.
• 훈련 중에 어떤 레이블도 사용하지 않았음에도 불구하고, 여러 지도 기반 방법보다 벤치마크에서 뛰어난 성능을 보였다.
• 제거 실험 결과, 적대적 훈련 기반의 설계가 비현실적인 해법을 효과적으로 방지하며, 명시적 정규화 없이도 강력한 마스크 예측이 가능하다는 점을 확인하였다.