[논문 리뷰] A Detailed Rubric for Motion Segmentation

Pia Bideau, Erik Learned-Miller|arXiv (Cornell University)|2016. 10. 31.

Visual Attention and Saliency Detection참고 문헌 3인용 수 21

한 줄 요약

이 논문은 기존 데이터셋 간 평가의 모호성을 해결하기 위해 운동 분할에 대한 정밀하고 상세한 정의를 제안한다. 이는 원인 기반, 물리적으로 일관된 운동 분할 프레임워크에 부합하는 세 가지 벤치마크 데이터셋—FBMS-59, Complex Background, 그리고 Camouflaged Animals—에 대한 재정의된 진정값 애너테이션을 도입하여, 독립적인 운동 성분을 가진 진정으로 움직이는 3차원 물체만을 분할함으로써 방법 간 비교의 공정성과 정확성을 향상시킨다.

ABSTRACT

Motion segmentation is currently an active area of research in computer Vision. The task of comparing different methods of motion segmentation is complicated by the fact that researchers may use subtly different definitions of the problem. Questions such as "Which objects are moving?", "What is background?", and "How can we use motion of the camera to segment objects, whether they are static or moving?" are clearly related to each other, but lead to different algorithms, and imply different versions of the ground truth. This report has two goals. The first is to offer a precise definition of motion segmentation so that the intent of an algorithm is as well-defined as possible. The second is to report on new versions of three previously existing data sets that are compatible with this definition. We hope that this more detailed definition, and the three data sets that go with it, will allow more meaningful comparisons of certain motion segmentation methods.

연구 동기 및 목표

• 다양한 연구 방법 간 평가의 일관성 없음을 초래하는 표준화되고 정밀한 운동 분할 정의의 부족을 해결하기 위해.
• 정적 벽을 움직이는 것으로 표기하는 등의 기존 진정값 애너테이션의 모순을 특정하여 원인 기반, 3차원 운동 인식과의 불일치를 밝히기 위해.
• 비움직이는 물체나 깊이에 따라 달라지는 아티팩트를 제외하고, 독립적인 운동 성분을 가진 진정으로 움직이는 3차원 물체에만 집중하는 운동 분할의 재정의를 위해.
• 공정하고 정확한 벤치마킹을 가능하게 하기 위해 널리 사용되는 세 가지 데이터셋에 대해 재정의된 원인 기반 일관성 있는 진정값 애너테이션을 제공하기 위해.
• 운동 분할과 더 넓은 의미의 영상 분할 간의 차이를 명확히 하여 평가 지표의 오용을 방지하기 위해.

제안 방법

• 운동 분할을 일곱 가지 핵심 원칙(I–VII)을 통해 정의하여, 독립적인 운동 성분으로서의 3차원 운동 기반 픽셀 그룹화를 강조한다.
• 정의를 적용하여 세 가지 데이터셋—FBMS-59, Complex Background, 그리고 Camouflaged Animals—에 대한 진정값을 재평가하고 재애너테이션한다.
• 비원인 기반 표기(예: 미래/과거 운동에 기반해 물체를 움직이는 것으로 표기하는 것)와 정적 구조물의 깊이에 따라 달라지는 분할을 기각한다.
• 시간에 따른 운동 일관성을 핵심 기준으로 사용: 물체는 3차원 공간에서 독립적으로 움직일 경우에만 분할된다.
• 서로 연결되어 있지만 독립적으로 움직이는 3차원 실체(예: 손을 잡고 걷는 두 사람)는 별개로 분할되어야 한다는 원칙을 적용한다.
• 의류나 휘날리는 천과 같은 물체는 그것이 움직이는 구조물과 함께 움직일 경우, 별개의 운동 성분으로 간주하지 않고 더 큰 강체 구조의 일부로 간주한다.

실험 결과

연구 질문

• RQ1 어떻게 운동 분할을 형식적으로 정의할 수 있을까? 이는 다양한 연구 방법 간 평가의 모호성을 제거하기 위함이다.
• RQ2 왜 FBMS-59와 같은 기존 데이터셋은 원인 기반, 3차원 운동 인식 원칙과 충돌하는 진정값 애너테이션을 포함하고 있는가?
• RQ3 비디오 시퀀스에서 진정으로 독립적인 운동 성분을 정의하는 데 어떤 기준이 되어야 하는가?
• RQ4 어떻게 진정값을 재정의하여 물리적으로 일관되고 원인 기반의 운동 분할 이해를 반영할 수 있는가?
• RQ5 현재의 벤치마크 데이터셋은 문제 정의와 진정값 간의 불일치로 인해 평가를 얼마나 잘못 이끌고 있는가?

주요 결과

• FBMS-59의 재정의된 진정값는 정적 벽과 깊이에 따라 달라지는 아티팩트의 오류 있는 분할을 제거하여 원인 기반 운동 인식과 일치시켰다.
• 서로 손을 잡고 걷는 두 사람이 독립적으로 움직일 경우, 물리적으로 연결되어 있어도 진정으로 별개의 운동 성분으로 정확히 분할된다.
• 사람이 움직이는 차량 위로 점프하는 경우, 처음에는 독립적으로 분할되지만 운동이 동기화되면 나중에 차량-말 시스템과 융합되며, 이는 진정한 물리적 독립성의 변화를 반영한다.
• 바람에 휘날리는 빨래는 비틀림 운동이지만, 더 큰 구조의 일부로 간주되어 별개의 운동 성분으로 간주되지 않아 원칙에 부합한다.
• 새로운 진정값 애너테이션은 공개적으로 제공되며, 공정한 벤치마킹을 위해 http://vis-www.cs.umass.edu/motionSegmentation/reportDef/report.html 에서 이용할 수 있다.
• 본 연구는 문제 정의의 일관성 부족과 진정값와의 불일치가 잘못된 비교를 초래하며, 운동 분할 평가의 신뢰성을 해칠 수 있음을 입증한다.