[논문 리뷰] Compensating Supervision Incompleteness with Prior Knowledge in Semantic Image Interpretation

Ivan Donadello, Luciano Serafini|arXiv (Cornell University)|2019. 10. 01.

Multimodal Machine Learning Applications참고 문헌 31인용 수 4

한 줄 요약

이 논문은 논리적 배경 지식을 감독 학습과 융합하여 영상 관계 탐지의 제로샷 성능을 향상시키기 위해 논리적 텐서 네트워크(LTNs)를 제안한다. 이는 Visual Relationship Dataset에서 성능을 크게 향상시키며, 부족한 감독 정보를 보완하기 위해 논리적 제약 조건을 활용함으로써 최신 기술을 초월한다. 관계 술어 탐지에서 100개의 예측에 대해 77.16%의 리콜을 달성한다.

ABSTRACT

Semantic Image Interpretation is the task of extracting a structured semantic description from images. This requires the detection of visual relationships: triples (subject,relation,object) describing a semantic relation between a subject and an object. A pure supervised approach to visual relationship detection requires a complete and balanced training set for all the possible combinations of (subject, relation, object). However, such training sets are not available and would require a prohibitive human effort. This implies the ability of predicting triples which do not appear in the training set. This problem is called zero-shot learning. State-of-the-art approaches to zero-shot learning exploit similarities among relationships in the training set or external linguistic knowledge. In this paper, we perform zero-shot learning by using Logic Tensor Networks, a novel Statistical Relational Learning framework that exploits both the similarities with other seen relationships and background knowledge, expressed with logical constraints between subjects, relations and objects. The experiments on the Visual Relationship Dataset show that the use of logical constraints outperforms the current methods. This implies that background knowledge can be used to alleviate the incompleteness of training sets.

연구 동기 및 목표

• 시각적 이미지 해석에서 풍부하지도 않고 균형 잡히지 않은 학습 데이터로 인한 제로샷 시각 관계 탐지의 과제를 해결한다.
• 순수하게 감독 학습 또는 언어 기반 지식 기반 방법의 한계를 극복하기 위해 명시적인 논리적 배경 지식을 통합한다.
• 데이터 기반 학습과 논리적 추론을 융합하여 미리 보지 않은 시각 관계로의 일반화 능력을 향상시킨다.
• 논리적 제약 조건이 실제 데이터셋에서의 애너테이션 불완전성 영향을 효과적으로 줄일 수 있음을 입증한다.
• LTN 프레임워크 내에서 새로운 특징과 새로운 손실 함수의 성능 향상 효과를 평가한다.

제안 방법

• 통계적 관계 학습 프레임워크인 논리적 텐서 네트워크(LTNs)를 활용하여 시각 데이터와 논리적 제약 조건을 동시에 학습한다.
• 경계 상자 간의 공간적 관계를 포괄하는 기하학적 특징을 도입하여 삼중체 예측 정확도를 향상시킨다.
• 일阶 논리 공리로 배경 지식을 정식화하며, 예를 들어 ∀x,y(ride(x,y)→elephant(y)∨horse(y)) 및 x가 驅動자(riding)가 아니면 ¬ride(x,y)와 같은 공리들을 포함한다.
• 논리 공리의 진리값의 조화 평균을 기반으로 한 새로운 손실 함수를 도입하여 학습 안정성과 제약 조건 준수를 향상시킨다.
• 논리 공식을 통해 역전파가 가능한 기반의 기계 학습 프레임워크를 사용해 모델을 엔드 투 엔드로 훈련한다.
• t-노름 기반 논리 연산을 사용하여 신경망 최적화 과정 내에서 논리 문장의 진리값을 계산한다.

실험 결과

연구 질문

• RQ1 논리적 배경 지식이 시각 관계 탐지에서 감독 정보의 불완전성에 효과적으로 대처할 수 있는가?
• RQ2 데이터 중심 또는 언어 중심 방법과 비교해 논리적 제약 조건 통합이 제로샷 일반화 능력을 어떻게 향상시키는가?
• RQ3 기하학적 특징과 새로운 손실 함수는 LTN 성능에 어떤 영향을 미치는가?
• RQ4 논리적 제약 조건은 어떻게 의미적으로 비합리적인 관계(예: 동물이 인간을 타는 것)의 오진 예측을 줄이는가?
• RQ5 제안된 방법은 다양한 유형의 시각 관계에 대해 얼마나 잘 스케일업되고 일반화되는가?

주요 결과

• 논리적 제약 조건을 포함한 모델(T_prior)은 관계 술어 탐지에서 100개의 예측에 대해 77.16%의 리콜을 달성하여 이전 최고 기술(LKD)의 74.65%를 초월한다.
• 기하학적 특징의 통합은 모든 작업에서 성능 향상을 이끌었으며, 기준 모델 대비 관계 술어 탐지 리콜에서 2.45%p의 절대적 향상을 기록했다.
• 새로운 조화 평균 기반 손실 함수는 제약 조건 준수를 향상시키며, 기존 t-노름 손실 함수 대비 관계 술어 탐지에서 2.45%p의 성능 향상을 이끌었다.
• 논리적 제약 조건은 도메인 특화 제약 조건을 코딩함으로써 의미적으로 비합리적인 예측(예: 동물이 인간을 타는 것)을 효과적으로 억제한다.
• LTN 프레임워크는 검색 공간을 O(|P1|²|P2|)에서 O(|P1| + |P2|)로 줄여 가시적 스케일러빌리티 향상과 파라미터 수 감소를 이룬다.
• 제거 분석 결과, 새로운 특징과 새로운 손실 함수 모두 최적 성능 달성에 필수적이며, 각각 독립적으로 성능 향상에 기여한다.