[논문 리뷰] ClawCraneNet: Leveraging Object-level Relation for Text-based Video Segmentation

Liang Chen, Yu Wu외 2명|arXiv (Cornell University)|2021. 03. 19.

Multimodal Machine Learning Applications참고 문헌 48인용 수 20

한 줄 요약

ClawCraneNet는 검색 기반 파ip라인을 사용하여 위치, 의미 및 시간적 관계를 포함한 개체 수준의 관계를 모델링하는 새로운 상향식 접근법을 제안한다. 먼저 후보 개체를 식별한 후 다중 모odal 관계를 활용함으로써 A2D Sentences 및 J-HMDB Sentences에서 최신 기술 수준(SOTA) 성능을 달성하며, 국소적 픽셀 수준의 시각-언어 상호작용에 의존하는 이전의 하향식 방법들보다 크게 슈퍼리어하다.

ABSTRACT

Text-based video segmentation is a challenging task that segments out the natural language referred objects in videos. It essentially requires semantic comprehension and fine-grained video understanding. Existing methods introduce language representation into segmentation models in a bottom-up manner, which merely conducts vision-language interaction within local receptive fields of ConvNets. We argue that such interaction is not fulfilled since the model can barely construct region-level relationships given partial observations, which is contrary to the description logic of natural language/referring expressions. In fact, people usually describe a target object using relations with other objects, which may not be easily understood without seeing the whole video. To address the issue, we introduce a novel top-down approach by imitating how we human segment an object with the language guidance. We first figure out all candidate objects in videos and then choose the refereed one by parsing relations among those high-level objects. Three kinds of object-level relations are investigated for precise relationship understanding, i.e., positional relation, text-guided semantic relation, and temporal relation. Extensive experiments on A2D Sentences and J-HMDB Sentences show our method outperforms state-of-the-art methods by a large margin. Qualitative results also show our results are more explainable.

연구 동기 및 목표

• 하향식 방법의 한계를 해결하기 위해, 국소적 픽셀 수준의 시각-언어 상호작용에 의존하고 고차원적 의미 관계를 모델링하지 못하는 기존 방법의 문제점을 해결한다.
• 인간의 시각 인지 방식을 모방하여 먼저 후보 개체를 식별하고, 이후 관계 기반 추론을 통해 참조 대상을 규명함으로써 세그멘테이션 정확도를 향상시킨다.
• 위치, 의미 및 시간적 관계의 세 가지 유형의 개체 수준 관계가 비디오 세그멘테이션을 위한 다중 모odal 이해를 향상시키는 데 얼마나 효과적인지 조사한다.
• 기존 하향식 특징 융합 방식보다 상향식, 개체 중심의 추론이 더 견고하고 정확한 세그멘테이션을 이끌어내는지 입증한다.

제안 방법

• 기존의 인스턴스 세그멘테이션 모델을 활용해 후보 개체를 먼저 탐지함으로써 개체 수준의 다중 모달 검색을 가능하게 하는 상향식 파이프라인.
• 순위 기반 인덱스를 사용해 '왼쪽에서 두 번째'와 같은 공간 관계를 모델링하는 상대적 위치 인코딩 모듈.
• 언어적 신호에 기반해 관련된 개체 쌍을 강조함으로써 의미 관계(예: '공을 차는')를 포착하는 언어 유도 개체 주의 모듈.
• 다중 개체 추적 및 헝가리안 알고리즘 기반 연동을 사용해 프레임 간 개체 트랙을 구축함으로써 시간적 일관성을 확보하는 시간 관계 모듈.
• 최종 세그멘테이션은 트랙을 통해 얻은 신뢰도 점수의 평균을 내어 시간적 일관성을 활용해 안정적인 예측을 생성한다.
• 네트워크 이름은 'ClawCraneNet'으로, 언어적 지시에 따라 후보 목록에서 대상 개체를 선택하는 것과 유사한 클로즈 크레인 기계의 비유에서 영감을 받았다.

실험 결과

연구 질문

• RQ1 위치, 의미 및 시간적 관계의 개체 수준 관계를 모델링하면 픽셀 수준의 상호작용보다 텍스트 기반 비디오 세그멘테이션 정확도가 향상되는가?
• RQ2 후보 개체를 먼저 식별하고 관계를 기반으로 추론하는 상향식 검색 기반 접근법이 픽셀 수준에서 시각과 언어를 융합하는 하향식 방법보다 성능이 뛰어나지 않는가?
• RQ3 상대적 위치 인코딩과 언어 유도 주의 모듈이 공간적 또는 동작 기반 관계를 포함하는 참조 표현을 이해하는 데 어떻게 기여하는가?
• RQ4 프레임 간 시간적 일관성을 통합할 경우 세그멘테이션의 견고성과 모호성 감소에 얼마나 기여하는가?

주요 결과

• ClawCraneNet는 A2D Sentences 및 J-HMDB Sentences 양쪽에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법들보다 크게 슈퍼리어하다.
• 제거 실험 결과, 위치, 의미 및 시간적 관계 모듈 중 각각이 성능 향상에 기여하며, 특히 시간 모듈이 가장 큰 기여를 한다는 것이 확인되었다.
• 세 가지 관계 모듈을 모두 포함한 모델(ClawCraneNet + 시간 관계)이 A2D Sentences에서 가장 높은 mIoU를 기록하여 다중 모달 관계 기반 추론의 효과성을 입증했다.
• 정성적 분석 결과, 복잡한 시나리오에서 모호하거나 저대비 개체를 포함한 장면에서 하향식 방법보다 더 명확하고 정확한 마스크를 생성하는 것으로 나타났다.
• t-SNE 시각화 결과, 모델가 분류 가능한 잘 분리된 개체 임베딩을 학습함을 확인하여 관계 모듈의 설계가 타당함을 검증했다.
• 실패 사례 분석을 통해 고속 운동, 거울 반사, 모호한 언어 지시어 처리에 어려움을 겪는 점을 확인하였으며, 불확실성 하에서의 시각-언어 기반 정렬 향상 여지가 있음을 시사한다.