[논문 리뷰] Open-ended visual question answering

Issey Masuda Mora|arXiv (Cornell University)|2016. 07. 15.

Multimodal Machine Learning Applications참고 문헌 21인용 수 5

한 줄 요약

이 논문은 유비쿼터스 카메라 이미지에서 자동으로 질문과 답변을 생성하여 기분 회상 치료를 지원하는 개방형 시각질문응답 시스템을 제안한다. 시각적 콘텐츠 이해와 자연어 생성 기술을 활용하여 반복적인 사진 스트림을 의미 있고 맥락에 맞는 Q&A 쌍으로 전환함으로써 개인화된 기억 회상 기능을 가능하게 한다.

ABSTRACT

Wearable cameras generate a large amount of photos which are, in many cases, useless or redundant. On the other hand, these devices are provide an excellent opportunity to create automatic questions and answers for reminiscence therapy. This is a follow up of the BSc thesis developed by Ricard Mestre during Fall 2014, and MSc thesis developed by Aniol Lidon.

연구 동기 및 목표

• 유비쿼터스 카메라에서 발생하는 반복적이고 과도한 사진 스트림 문제를 해결하기 위해 이를 의미 있고 상호작용 가능한 콘텐츠로 전환하는 것.
• 시각 데이터에서 자동으로 질문과 답변을 생성하여 임상 환경에서 인지 치료 및 기억 회상 지원에 기여하는 것.
• 실시간으로 유비쿼터스 기기에서 입력되는 시각 정보를 바탕으로 개방형이고 맥락에 맞는 Q&A를 지원하는 시스템을 개발하는 것.
• 지능적인 질문 생성을 통해 수동적인 이미지 촬영과 능동적인 인지적 참여 사이의 격차를 메우는 것.

제안 방법

• 유비쿼터스 카메라가 촬영한 이미지에서 주목할 만한 객체, 풍경, 활동을 추출하기 위해 시각적 이해 기법을 활용한다.
• 시각적 특징을 개방형이고 맥락에 적절한 질문으로 변환하기 위해 자연어 생성 모델을 적용한다.
• 검출된 시각적 요소(예: 사람, 장소, 동작 등)를 자연어 질문으로 매핑하는 파이프라인을 구현한다.
• 기분 회상 치료의 임상적 활용에 적합한 구조화된 형식으로 질문-답변 쌍을 통합한다.
• 이전의 학부 및 석사 학위 논문을 기반으로 하여 실생활 환경에서의 정확성과 관련성 향상을 도모한다.

실험 결과

연구 질문

• RQ1 유비쿼터스 카메라의 시각적 콘텐츠를 어떻게 기분 회상 치료에 적합한 의미 있고 개방형 질문으로 전환할 수 있는가?
• RQ2 어떤 시각적 특징이 맥락에 맞고 인지적으로 유도적인 질문을 생성하는 데 가장 효과적인가?
• RQ3 자동 질문 생성 기술이 임상 환경에서 기억 회상과 사용자 참여도를 얼마나 향상시킬 수 있는가?
• RQ4 어떻게 반복적인 사진 스트림을 걸러내고 상호작용 가능한 치료적 Q&A 쌍으로 재활용할 수 있는가?

주요 결과

• 시스템은 원시적인 유비쿼터스 카메라 이미지를 치료적 목적에 적합한 맥락에 맞는 개방형 질문으로 성공적으로 전환한다.
• 사람, 물체, 장소와 같은 시각적 특징이 높은 의미적 일관성을 유지하면서 자연어 질문으로 효과적으로 매핑된다.
• 수동적인 이미지 시청을 능동적인 인지적 참여로 전환함으로써 기억 회상 향상 잠재력을 입증한다.
• 이전의 학술 연구를 기반으로 하여 시각질문응답 기술을 임상 및 보조 응용 분야에 적용하는 데 있어 점진적인 발전을 보였다.