[논문 리뷰] TOIST: Task Oriented Instance Segmentation Transformer with Noun-Pronoun Distillation

Pengfei Li, Beiwen Tian외 5명|arXiv (Cornell University)|2022. 10. 19.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 작업 지향적 인스턴스 세분화를 위한 one-stage transformer 기반 방법인 TOIST를 제안하며, 객체 쿼리에 대한 자기주의 주의(self-attention)를 사용해 객체 선호도를 모델링한다. 사전 훈련된 명사 참조 모델로부터 지식을 이전하기 위해 새로운 명사-대명사 정련 프레임워크를 도입하여 COCO-Tasks에서 +10.9% mAP^{box} 및 정련을 통해 +3.8% mAP^{mask}의 최신 기술 성능을 달성한다.

ABSTRACT

Current referring expression comprehension algorithms can effectively detect or segment objects indicated by nouns, but how to understand verb reference is still under-explored. As such, we study the challenging problem of task oriented detection, which aims to find objects that best afford an action indicated by verbs like sit comfortably on. Towards a finer localization that better serves downstream applications like robot interaction, we extend the problem into task oriented instance segmentation. A unique requirement of this task is to select preferred candidates among possible alternatives. Thus we resort to the transformer architecture which naturally models pair-wise query relationships with attention, leading to the TOIST method. In order to leverage pre-trained noun referring expression comprehension models and the fact that we can access privileged noun ground truth during training, a novel noun-pronoun distillation framework is proposed. Noun prototypes are generated in an unsupervised manner and contextual pronoun features are trained to select prototypes. As such, the network remains noun-agnostic during inference. We evaluate TOIST on the large-scale task oriented dataset COCO-Tasks and achieve +10.9% higher $ m{mAP^{box}}$ than the best-reported results. The proposed noun-pronoun distillation can boost $ m{mAP^{box}}$ and $ m{mAP^{mask}}$ by +2.8% and +3.8%. Codes and models are publicly available at https://github.com/AIR-DISCOVER/TOIST.

연구 동기 및 목표

• 주어진 동사 기반 동작(예: '편안하게 앉기')에 가장 부합하는 객체를 식별해야 하는 작업 지향적 인스턴스 세분화의 과제를 해결하기 위해.
• 다수의 후보 객체 간 상대적 선호도를 모델링하여 동사 참조의 내재된 모호성을 해결하기 위해.
• transformer 아키텍처의 자기주의 주의를 활용해 쌍별 객체 선호도를 자연스럽게 포착하는 one-stage, 엔드 투 엔드 학습 가능한 방법을 개발하기 위해.
• 추론 시 대명사 기반 입력에 대해 일반화 능력을 향상시키기 위해 훈련 중에 특수한 명사 진짜값을 활용하고, 명사 무관 배포를 가능하게 하기 위해.

제안 방법

• 학습 가능한 객체 쿼리와 함께 DETR 스타일의 transformer 인코더-디코더 아키텍처를 기반으로 한 one-stage 인스턴스 세분화 프레임워크인 TOIST를 제안한다.
• 주어진 동사 행동에 대해 후보 객체 간의 쌍별 관계와 상대적 선호도를 모델링하기 위해 객체 쿼리에 대한 자기주의 주의를 사용한다.
• 클러스터링을 통해 명사 프로토타입을 생성하기 위해, 사전 훈련된 명사 참조 모델에서의 특수한 명사 진짜값을 사용하여 동사-명사 프롬프트(예: '의자에 앉기')를 기반으로 한 교사 모델을 훈련한다.
• 교수 모델에서 유도된 지식을 사용하여, 문맥 기반 대명사 특징을 활용해 명사 프로토타입에서 선택하는 방식으로, 동사-대명사 프롬프트(예: '무언가에 앉기')를 기반으로 한 학생 모델을 훈련한다.
• 두 단계의 정련 과정을 구현한다: 첫째, 교사 모델의 명사 특징을 클러스터링하여 프로토타입을 형성하고, 둘째, 학생 모델이 대명사 특징을 이러한 프로토타입과 일치하도록 훈련한다.
• 실제 명사에 접근할 수 없더라도 교사 모델의 출력 기반으로 객체 간 상대 순위를 학습하도록 유도하는 선호도 정련 손실을 적용한다.

실험 결과

연구 질문

• RQ1 one-stage transformer 기반 방법이 인스턴스 세분화에서 동사 기반 행동에 대해 객체 선호도를 효과적으로 모델링할 수 있는가?
• RQ2 사전 훈련된 참조 표현 모델에서 유도된 특수한 명사 정보를 효과적으로 활용하여 대명사 기반 동사 참조 성능을 향상시킬 수 있는가?
• RQ3 명사 프로토타입에서 유도된 지식을 대명사 특징에 정련함으로써 작업 지향적 인스턴스 세분화의 일반화 능력과 강건성 향상에 기여하는가?
• RQ4 클러스터 수(K)와 작업 수(n_task)의 변화가 정련 프레임워크 성능에 어떤 영향을 미치는가?
• RQ5 제안된 명사-대명사 정련 프레임워크는 미사용된 동사에 대해 일반화되어 고도의 성능을 유지할 수 있는가? 미세조정 없이도 성능이 유지되는가?

주요 결과

• TOIST는 COCO-Tasks 데이터셋에서 기존 최고 성능 대비 +10.9% 향상된 44.1% mAP^{box}의 새로운 최신 기술 성능을 달성한다.
• 제안된 명사-대명사 정련 프레임워크는 정련이 없는 기본 TOIST 대비 mAP^{box} +2.8% 향상 및 mAP^{mask} +3.8% 향상된다.
• 절단 분석 결과, K=3일 때 클러스터링 명사 프로토타입에서 최고의 성능을 기록하며, K=3일 때 mAP^{box}가 44.1%로 최고에 도달한다.
• 의미 없는 대명사 토큰(예: 'abcd')을 사용할 경우에도 정련 프레임워크가 효과를 유지함으로써 입력 변동에 대한 강건성을 입증한다.
• 작은 작업 수(n_task = 1)일수록 성능이 향상되며, '발로 딛기'의 경우 +3.0% mAP^{box} 향상 및 '불에서 감자 꺼내기'의 경우 +4.3% 향상되어 복잡도 감소가 정련 효율성 향상에 기여함을 시사한다.
• 정성적 결과는 TOIST가 애초에 애너테이션되지 않은 기능 후보(예: 병을 열기 위해 사용되는 테이블)를 탐지하고, 일부 경우에서 실제 진짜값보다 더 정확한 마스크를 생성할 수 있음을 보여준다.