[논문 리뷰] Commonly Uncommon: Semantic Sparsity in Situation Recognition

Mark Yatskar, Vicente Ordóñez외 2명|arXiv (Cornell University)|2016. 12. 03.

Multimodal Machine Learning Applications참고 문헌 39인용 수 5

한 줄 요약

이 논문은 상황 인식에서 의미적 희소성 문제를 다루기 위해, 명사-역할 조합 간 표현을 공유하는 새로운 텐서 조합 함수를 갖춘 복합 CRF와 웹 기반 의미적 데이터 증강 기법을 도입한다. 이 기법은 검색 쿼리를 활용해 희귀 출력 예측을 향상시킨다. 병합된 접근 방식은 상위 5개의 동사 정확도와 명사-역할 정확도에서 각각 6.23%와 9.57%의 상대적 향상을 기록하며, 희귀 및 미사용 구성에 대해 최신 기준 모델을 크게 능가한다.

ABSTRACT

Semantic sparsity is a common challenge in structured visual classification problems; when the output space is complex, the vast majority of the possible predictions are rarely, if ever, seen in the training set. This paper studies semantic sparsity in situation recognition, the task of producing structured summaries of what is happening in images, including activities, objects and the roles objects play within the activity. For this problem, we find empirically that most object-role combinations are rare, and current state-of-the-art models significantly underperform in this sparse data regime. We avoid many such errors by (1) introducing a novel tensor composition function that learns to share examples across role-noun combinations and (2) semantically augmenting our training data with automatically gathered examples of rarely observed outputs using web data. When integrated within a complete CRF-based structured prediction model, the tensor-based approach outperforms existing state of the art by a relative improvement of 2.11% and 4.40% on top-5 verb and noun-role accuracy, respectively. Adding 5 million images with our semantic augmentation techniques gives further relative improvements of 6.23% and 9.57% on top-5 verb and noun-role accuracy.

연구 동기 및 목표

• 훈련 데이터에서 대부분의 명사-역할 조합이 희귀하거나 미사용되는 상황 인식에서 의미적 희소성을 해결하기 위해.
• 구조적 시각 분류에서 희귀 및 OOV(Out-of-Vocabulary) 예측 성능을 향상시키기 위해.
• 낮은 차원의 임베딩을 사용해 명사-역할 조합 간 표현을 공유하는 복합 CRF 모델을 개발하기 위해.
• 희귀 출력을 위한 합성 훈련 예제를 생성하기 위해 웹 검색 쿼리를 활용한 의미적 데이터 증강 전략을 도입하기 위해.
• 복합 모델링과 웹 기반 데이터 증강을 병합했을 때 희귀 예측에 대해 뚜렷한 성능 향상이 이루어지는지 입증하기 위해.

제안 방법

• 낮은 차원의 명사 및 역할 임베딩을 조합하여 CRF 요소에 대해 공유되는 전역 파rameter화된 점수를 생성하는 새로운 텐서 조합 함수를 제안한다.
• 딥 네트워크를 사용해 이미지 수준의 특징을 예측하고, 이를 텐서 함수를 통해 동시에 모든 명사-역할 조합의 점수를 계산한다.
• 희귀 명사-역할 쌍을 위해 검색 쿼리(예: "남자가 아기를 메고 있음")를 생성하여 웹 이미지를 검색함으로써 의미적 데이터 증강을 적용한다.
• 수집된 이미지를 국소 가능도 최적화를 통해 사전 훈련에 통합함으로써, 비라벨링된 의미적 요소의 소프트 클러스터링을 가능하게 한다.
• 모델 예측을 사용해 고신뢰도의 웹 기반 예제를 필터링하고 재훈련하는 자기학습 기법을 적용한다.
• 복합 CRF와 의미적 증강을 조합하여 조건부 랜덤 필드 기반의 종합적인 구조적 예측 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 명사-역할 조합 간 표현을 공유하는 복합 CRF 모델이 희귀 상황 인식 출력 성능 향상에 기여하는가?
• RQ2 웹 기반 의미적 데이터 증강이 미사용 또는 자원이 부족한 명사-역할 조합에 대한 일반화 성능에 어느 정도 기여하는가?
• RQ3 제안된 구성 요소인 복합 모델링과 의미적 증강이 희귀 예측에서의 성능 저하를 줄이는 데 어떻게 상호작용하는가?
• RQ4 텐서 조합과 웹 기반 데이터 증강의 조합이 훈련 데이터의 다양한 빈도 범위에서 일관된 성능 향상을 이끌어내는가?
• RQ5 훈련 중에 볼 수 없었던 제로샷 또는 소수의 예제만 있는 명사-역할 조합에 대해 모델이 효과적으로 일반화할 수 있는가?

주요 결과

• 제안된 텐서 조합을 갖춘 복합 CRF는 imSitu 개발 세트에서 기준 CRF 대비 상위 5개의 동사 정확도를 2.11% 향상시키고, 명사-역할 정확도를 4.40% 향상시킨다.
• 500만 개의 웹 이미지를 활용한 의미적 데이터 증강은 상위 5개의 동사 정확도에서 6.23%의 상대적 향상과 명사-역할 정확도에서 9.57%의 상대적 향상을 이룬다.
• 통합 모델은 훈련 예제가 10개 미만인 희귀 예측에 대해 평균적으로 8.76%의 상대적 향상을 기록한다.
• 성능 향상이 가장 두드러진 영역은 훈련 예제가 5~35개 사이인 경우로, 이는 낮은 빈도이지만 극도로 희귀하지 않은 케이스에 강력한 이점을 제공함을 시사한다.
• 희귀 구성에 대해 기준 모델을 크게 능가하며, 특히 5~35개 예제 범위에서 가장 높은 성능 향상이 관찰되어 낮은 자원을 가진 출력에 대한 효과적인 일반화가 이루어졌음을 시사한다.
• 전체 imSitu 테스트 세트에서 최종 모델은 강력한 성능을 유지하며, 모든 평가 지표에서 일관된 향상이 관찰되며, 특히 희귀 및 미사용 명사-역할 쌍에서 두드러진 성능 향상이 나타난다.