[논문 리뷰] Information Pursuit: A Bayesian Framework for Sequential Scene Parsing

Ehsan Jahangiri, Erdem Yörük외 3명|arXiv (Cornell University)|2017. 01. 09.

Anomaly Detection Techniques and Applications참고 문헌 3인용 수 7

한 줄 요약

이 논문은 깊이 학습 기반 인식에 맥락적 객체 관계를 통합하는 베이지안 프레임워크인 Information Pursuit를 제안한다. 전체 시나리오 해석과의 상호정보량을 최대화하는 질문을 반복적으로 선택함으로써, 공간 배치와 3D 기하학에 대한 학습된 사전 지식을 활용해 객체 검출을 정교화하며, 합성 훈련 데이터를 사용한 식당실 테이블 시나리오 해석에서 더 높은 정확도를 달성한다.

ABSTRACT

Despite enormous progress in object detection and classification, the problem of incorporating expected contextual relationships among object instances into modern recognition systems remains a key challenge. In this work we propose Information Pursuit, a Bayesian framework for scene parsing that combines prior models for the geometry of the scene and the spatial arrangement of objects instances with a data model for the output of high-level image classifiers trained to answer specific questions about the scene. In the proposed framework, the scene interpretation is progressively refined as evidence accumulates from the answers to a sequence of questions. At each step, we choose the question to maximize the mutual information between the new answer and the full interpretation given the current evidence obtained from previous inquiries. We also propose a method for learning the parameters of the model from synthesized, annotated scenes obtained by top-down sampling from an easy-to-learn generative scene model. Finally, we introduce a database of annotated indoor scenes of dining room tables, which we use to evaluate the proposed approach.

연구 동기 및 목표

• 현재의 딥 러닝 모델이 자주 간과하는 시나리오 해석에서 객체 인스턴스 간의 맥락적 관계를 통합하는 데 도전하는 것.
• 고수준 분류기 출력을 활용해 시나리오 해석을 점진적으로 정교화하는 순차적이고 질의 기반의 접근법을 개발하는 것.
• 더 나은 일반화를 위해 합성된, 주석이付け된 시나리오에서 객체 배치의 구조적 사전 모델을 학습하는 것.
• 각 단계에서 정보 수확량을 최대화하는 정보적인 질문을 선택하여 굵직한에서 세밀한 시나리오 이해를 가능하게 하는 것.
• 엔드 투 엔드 딥 러닝과 모델 기반 추론 사이의 격차를 메우기 위해 의미 변수를 직접 베이지안 추론 프레임워크에 통합하는 것.

제안 방법

• 잠재 변수(annobits)가 의미적 객체 존재 및 자세를 나타내며, 이는 훈련된 고수준 분류기(예: CNNs)와 일대일로 연결되는 베이지안 모델을 사용한다.
• 1차 사전 모델은 동차성과 마르코프 무작위 필드(MRF)를 통해 3D 시나리오 기하학과 2D 공간적 관계를 캡처하며, 2차로 더 모듈화된 속성 부여 그래프 모델은 효율적인 데이터 합성에 기여한다.
• 데이터 모델은 annobits에 조건부로 분류기 출력의 분포를 캡처하며, 딥 네트워크에서 유출하는 노이즈 있는 응답을 모델링한다.
• 프레임워크는 예상 답변과 전체 시나리오 해석 간의 상호정보량을 최대화함으로써 다음 질문(질의)을 선택한다. 이는 최적의 정보 수확량을 보장한다.
• 매개변수는 속성 부여 그래프 모델을 사용해 생성된 합성된, 주석이付け진 시나리오에서 학습되며, 이는 약한 지도 학습 신호로 기능한다.
• 자세 분포는 각도 및 반경 상대 위치에 대해 바이어스 분포와 바이어스 분포를 사용하여 모델링하며, 객체 카테고리와 테이블 기하학에 기반한 제약 조건이 적용된다.

실험 결과

연구 질문

• RQ1 순차적이고 질의 기반의 시나리오 해석 프레임워크에서 객체 인스턴스 간의 맥락적 관계를 효과적으로 모델링할 수 있는가?
• RQ2 시나리오 해석 과정에서 정보 수확량을 최대화하는 데 최적의 질문 선택 전략은 무엇인가?
• RQ3 딥 러닝과 구조적 사전 지식을 융합한 하이브리드 베이지안 프레임워크가 독립적 객체 검출을 넘어서 시나리오 해석 정확도를 향상시킬 수 있는가?
• RQ4 합성된, 주석이付け진 데이터에서 객체 배치의 사전 모델을 효율적으로 학습할 수 있는가?
• RQ5 공간적 및 기하학적 사전 지식을 통합할 경우, 객체 검출의 모호성을 얼마나 줄이고 시나리오 해석의 일관성을 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 Information Pursuit 프레임워크는 객체 간 맥락적 관계를 활용함으로써 더 높은 시나리오 해석 정확도를 달성하며, 잘못된 검출과 일관성 없는 검출을 줄였다.
• 상호정보량 기반의 질의 선택 전략은 질의당 정보 수확량을 크게 향상시켜 정확한 해석에 도달하는 데 더 빠른 수렴을 이끌었다.
• 속성 부여 그래프 모델에서 유도된 합성 훈련 데이터는 실제 주석이 적은 경우에도 더 복잡한 동차성 기반 사전 모델의 매개변수 학습에 효과적으로 기여했다.
• 분류기와 직접적으로 대응하는 의미적 잠재 변수인 annobits의 사용은 딥 러닝 출력을 구조화된 베이지안 프레임워크에 깔끔하게 통합할 수 있게 했다.
• 이 프레임워크는 식당실 테이블 시나리오에서 뛰어난 성능을 보였으며, 여러 개의 도구와 컵이 일관된 공간 구성에서 배열된 복잡한 플레이트 세팅을 정확히 모델링했다.
• 적은 수의 잘 선택된 질의를 통해 객체 자세와 공간 관계를 추론할 수 있는 능력은 효율적이고 상호작용적인 시나리오 이해의 강력한 잠재력을 보여주었다.