[논문 리뷰] Open Vocabulary Scene Parsing

Hang Zhao, Xavier Puig외 3명|arXiv (Cornell University)|2017. 03. 26.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

이 논문은 고정된 훈련 세트를 초월하는 광범위하고 개방형 객체 카테고리 어휘를 사용하여 장면 분할을 가능하게 하는 새로운 과제인 오픈 어휘 장면 해석을 소개한다. 저자들은 워드넷과 같은 지식 그래프에서 유사한 계층적 의미 관계(예: 초위어/하위어 관계)를 유지하는 통합된 이미지-픽셀 및 개념 임베딩 프레임워크를 제안하여 제로샷 일반화, 개념 검색, 개념의 산술 조합이 가능하게 하며, ADE20K 데이터셋에서 해석 가능하고 구조화된 예측을 통해 뛰어난 성능을 달성한다.

ABSTRACT

Recognizing arbitrary objects in the wild has been a challenging problem due to the limitations of existing classification models and datasets. In this paper, we propose a new task that aims at parsing scenes with a large and open vocabulary, and several evaluation metrics are explored for this problem. Our proposed approach to this problem is a joint image pixel and word concept embeddings framework, where word concepts are connected by semantic relations. We validate the open vocabulary prediction ability of our framework on ADE20K dataset which covers a wide variety of scenes and objects. We further explore the trained joint embedding space to show its interpretability.

연구 동기 및 목표

• 고정 어휘 장면 분할 모델의 한계를 해결하기 위해 훈련 중에 볼 수 없었던 객체 카테고리로의 일반화가 불가능한 문제를 해결한다.
• 훈련 중에 볼 수 없었던 객체 개념까지 포함하여 광범위하고 개방형 어휘를 사용한 장면 분할을 가능하게 한다.
• 초위어/하위어 관계와 같은 의미 계층을 통합된 임베딩 공간에 유지하는 통합 프레임워크를 개발한다.
• 개념 검색, 경계 이완, 산술 연산을 통한 해석 가능성 탐색을 통해 학습된 임베딩 공간의 해석 가능성을 탐색한다.
• 자연스럽게 클래스의 모호성이 존재하는 개방형 인식 과제에 적합한 평가 지표를 수립한다.

제안 방법

• 지식 그래프(예: 워드넷)에서 추출한 단어 개념과 이미지 픽셀 특징을 공통의 고차원 벡터 공간에 동시에 임베딩하는 딥 네ural 네트워크를 훈련한다.
• 마진 기반 손실을 사용하여 임베딩 공간 내에서 초위어-하위어 관계를 최적화함으로써 의미 계층의 유지 보장을 강제한다.
• 정보 내용을 통해 클래스 빈도를 고려한 가중치가 부여된 크로스 엔트로피 손실을 사용하여 빈도가 높은 카테고리에 대한 편향을 줄인다.
• 최소한의 단계에서만 아니라 워드넷 계층의 중간 노드에서도 예측이 가능하도록 하여 제로샷 예측을 가능하게 한다.
• 임베딩 공간 내에서 산술 연산(예: 최대/최소)을 통해 개념 검색, 경계 이완, 개념 합성 수행.
• rich한 장면 애너테이션과 다양한 객체 카테고리로 구성된 ADE20K 데이터셋을 훈련 및 평가에 활용한다.

실험 결과

연구 질문

• RQ1 지식 그래프에서 유래한 의미 지식만을 사용하여, 훈련 중에 볼 수 없었던 객체 카테고리로의 장면 분할 모델 일반화가 가능한가?
• RQ2 통합된 이미지-개념 임베딩 공간이 초위어/하위어 관계와 같은 계층적 의미 관계를 얼마나 잘 유지하는가?
• RQ3 학습된 임베딩 공간이 개념 검색이나 개념의 산술 조합과 같은 해석 가능한 연산을 얼마나 잘 지원하는가?
• RQ4 오픈 어휘 분할에서 강력한 제로샷 일반화를 달성하기 위해 필요한 최소 훈련 클래스 수는 얼마인가?
• RQ5 다양한 평가 지표는 계층적 또는 모호한 레이블을 가진 개방형 인식 시스템의 성능을 어떻게 반영하는가?

주요 결과

• 제안된 Joint-Hyper 모델은 강력한 제로샷 일반화 성능을 달성하며, 500개 이상의 클래스로 훈련한 후 성능이 포화 상태에 도달함을 보여, 그 이상의 규모에서는 수익 감소 현상이 나타남을 시사한다.
• 모델은 픽셀 수준의 개념 검색을 성공적으로 수행하며, 점점 더 추상적인 개념(예: '가구' 또는 '물체')일수록 Word2Vec 기반 기준 모델보다 높은 재현율을 기록한다.
• 임베딩 공간은 '앉을 수 있는 성질'과 같은 추상적 속성을 암묵적으로 인코딩하여, '의자'로 명시적으로 레이블링되지 않은 상태에서도 '벤치'나 '옵텐'과 같은 앉을 수 있는 영역을 탐지할 수 있다.
• 임베딩 공간 내 산술 연산은 의미 있는 개념 합성을 가능하게 한다: 최대 연산은 공통 하위어를 검색한다(예: '테이블'과 '게임 기구'의 교차로 '수영장 테이블'을 추출), 최소 연산은 유사한 합성 개념을 검색한다(예: '자전거'와 '우비'의 조합으로 '카트'를 추출).
• 모델은 예상치 못한 카테고리에 대해서도 타당하고 구조화된 예측을 생성한다—예를 들어, '삼륜오토바이'가 훈련 데이터에 없었음에도 '차량'으로 예측함으로써 인간과 유사한 일반화 능력을 보여준다.
• 프레임워크는 인간 애너테이터의 일관성 없는 레이블링에 대해 강건하며, 의미 계층의 구조 덕분에 도메인 지식이 다른 작업자로부터 유래한 레이블 노이즈에 민감도가 낮아진다.