[논문 리뷰] Open-World Visual Recognition Using Knowledge Graphs

Vincent Lonij, Ambrish Rawat외 1명|arXiv (Cornell University)|2017. 08. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 11

한 줄 요약

이 논문은 지식 그래프 기반 프레임워크를 제안하여 개방형 세계 시각 인식을 수행하며, 이미지와 실체를 공유된 의미 공간에 동시에 통합하여 새로운 클래스에 대해 제로샷 예측을 가능하게 한다. 부드러움 제약 조건과 맥락 인지 주의 메커니즘을 통합함으로써 기준 모델 대비 성능을 6배 향상시킨다.

ABSTRACT

In a real-world setting, visual recognition systems can be brought to make predictions for images belonging to previously unknown class labels. In order to make semantically meaningful predictions for such inputs, we propose a two-step approach that utilizes information from knowledge graphs. First, a knowledge-graph representation is learned to embed a large set of entities into a semantic space. Second, an image representation is learned to embed images into the same space. Under this setup, we are able to predict structured properties in the form of relationship triples for any open-world image. This is true even when a set of labels has been omitted from the training protocols of both the knowledge graph and image embeddings. Furthermore, we append this learning framework with appropriate smoothness constraints and show how prior knowledge can be incorporated into the model. Both these improvements combined increase performance for visual recognition by a factor of six compared to our baseline. Finally, we propose a new, extended dataset which we use for experiments.

연구 동기 및 목표

• 학습 시에 새로운 클래스에 대한 보조 정보가 제공되지 않는 개방형 세계 시나리오에서의 시각 인식 과제를 해결한다.
• 단순한 클래스 레이블이 아닌, 구조화된 의미 관계(예: '어떤 종류의 박쥐이다')를 새로운 시각 입력에 대해 예측할 수 있도록 한다.
• 지식 그래프에서의 사전 지식을 시각 인식 모델에 통합하여 일반화 능력과 해석 가능성 향상을 도모한다.
• 시각 입력을 활용하여 지식 그래프를 자동으로 업데이트할 수 있는 자기 업데이트 시스템을 개발하여 인간과 유사한 지속적 학습을 모방한다.
• 개방형 세계 시각 인식 및 링크 예측 성능 평가를 위한 새로운 벤치마크 데이터셋을 설계한다.

제안 방법

• 지식 그래프 임베딩(예: TransE 스타일)을 사용하여 실체와 관계를 연속적인 벡터 공간에 표현하는 공동 임베딩 공간을 학습한다.
• 딥 컨volution 신경망을 훈련하여 이미지를 동일한 의미 공간에 임베딩함으로써 다중 모odal 정렬을 가능하게 한다.
• 그래프 임베딩 손실 함수에 부드러움 제약 조건을 도입하여 스코어 함수가 입력 변화에 따라 점진적으로 변하도록 하여 일반화 능력을 향상시킨다.
• 관련 맥락을 집중적으로 분석함으로써 새로운 실체와 관계에 대한 링크 예측 성능을 향상시키기 위해 주의 기반 메커니즘을 적용한다.
• 훈련 세트에서 관계-꼬리 쌍의 분포를 모델링함으로써 새로운 관계 예측 성능을 향상시키기 위해 맥락 히우리스틱을 사용한다.
• 스코어 함수를 통해 이미지 및 실체 임베딩을 조합하여 삼중항 (헤드, 관계, 테일) 이 의미 공간에서 참일 가능성을 예측한다.

실험 결과

연구 질문

• RQ1 학습 시에 새로운 클래스에 대한 보조 정보가 제공되지 않는 개방형 세계 설정에서 지식 그래프 임베딩을 효과적으로 활용하여 시각 인식을 가능하게 할 수 있는가?
• RQ2 임베딩 공간 내의 부드러움 제약 조건이 제로샷 시각 인식 작업의 일반화 능력과 성능 향상에 어떻게 기여하는가?
• RQ3 맥락 인지 주의 메커니즘은 얼마나 효과적으로 시각 입력에서 새로운 지식 그래프 링크를 예측할 수 있는가?
• RQ4 시각 데이터를 원칙적인 방식으로 활용하여 지식 그래프를 확장할 수 있는가? 이는 지속적 학습과 지식 증식을 가능하게 하는가?
• RQ5 기준 모델 대비 표준, 제로샷, 개방형 세계 인식 설정 전반에서 제안된 방법의 성능은 어떻게 비교되는가?

주요 결과

• 제안된 방법은 기준 모델 대비 시각 인식 성능을 6배 향상시켜 개방형 세계 인식에서 최고 수준의 성능을 달성한다.
• 부드러움 제약 조건을 추가함으로써 스코어 함수의 리프시츠 상수는 기준 모델의 0.645에서 0.174로 감소하여 함수의 부드러움과 일반화 능력 향상이 뚜렷하게 나타난다.
• 맥락 인지 주의 메커니즘이 SINTL 데이터셋에서 성능을 향상시켜 개방형 세계 설정에서 f@3 스코어를 0.400에서 0.928로 상승시켰다.
• 시각화 결과는 학습된 의미 공간에서 실체가 카테고리(예: 동물, 차량 등)별로 군집화되어 있으며, 관계에 대한 부드럽고 해석 가능한 스코어 함수를 지원함을 보여준다.
• 모델은 훈련 중에 볼 수 없었던 새로운 클래스의 이미지에 대해서도 '어떤 종류의 박쥐이다'와 같은 구조화된 속성(예: '어떤 종류의 박쥐이다')을 성공적으로 예측한다.
• 이 프레임워크는 이중 방향 지식 확장 기능을 제공한다: 시각 입력은 새로운 지식 그래프 간선을 생성할 수 있고, 지식 그래프의 구조는 이미지 이해를 안내할 수 있다.