[논문 리뷰] Charon: a FrameNet Annotation Tool for Multimodal Corpora

Frederico Belcavello, Marcelo Viridiano외 2명|arXiv (Cornell University)|2022. 05. 24.

Natural Language Processing Techniques인용 수 5

한 줄 요약

Charon는 웹 기반의 FrameNet 호환성 있는 주석 도구로, FrameNet 프레임과 프레임 요소를 사용하여 정적 이미지 및 영상, 텍스트 코퍼스를 함께 세밀한 의미론적 레이블링할 수 있도록 한다. 이 도구는 정적 이미지-캡션 쌍과 동적 영상 시퀀스를 모두 지원하며, 컴퓨터 비전 객체 검출과 인간 중심의 주석을 통합하여 의미적으로 rich한 다중모odal 데이터셋을 생성한다. 주요 기여는 FN-Br WebTool와의 호환성 확보 및 두 가지 새로운 데이터셋인 Framed Multi 30k와 Frame 2의 제작이다.

ABSTRACT

This paper presents Charon, a web tool for annotating multimodal corpora with FrameNet categories. Annotation can be made for corpora containing both static images and video sequences paired - or not - with text sequences. The pipeline features, besides the annotation interface, corpus import and pre-processing tools.

연구 동기 및 목표

• 정적 이미지 및 영상 시퀀스와 텍스트가 함께 있는 다중모달 코퍼스에 FrameNet 주석을 확장하기 위해.
• FrameNet의 의미론적 세밀함과 시각적 자료 주석을 결합하는 도구의 부족을 해결하기 위해.
• 프레임 요소와 함께 시각적 객체에 대한 인간 중심의 주석을 지원하기 위해.
• 통합 웹 기반 인터페이스를 통해 텍스트, 시각적 자료, 프레임 기반 주석 간의 연결을 가능하게 하기 위해.
• NLP 및 다중모달 이해 분야 연구를 위한 고품질의 의미론적 주석이 부여된 다중모달 데이터셋을 제작하기 위해.

제안 방법

• Charon는 정적 모드(이미지-캡션 쌍용)와 동적 모드(영상 시퀀스용)로 구성된 이중 모듈 아키텍처를 사용한다.
• 코퍼스는 이미지, 텍스트 캡션, 바운딩 박스 주석이 포함된 XML 파일을 포함한 ZIP 파일로 가져온다.
• 사전 처리 단계에서 DAISY라는 의미어의 다의어 해소 알고리즘을 활용하여 텍스트 내 레미마에 자동으로 의미론적 프레임을 할당한다.
• 주석자는 시각적 객체에 FrameNet 프레임과 프레임 요소를 할당하며, 객체 인식을 위한 옵션으로 컴퓨터 비전(CV) 이름 레이블링을 제공할 수 있다.
• 프레임 요소의 null 인스턴스화를 지원하여, 텍스트에는 언급되지 않았지만 시각적으로 추론 가능한 프레임 요소를 주석으로 기록할 수 있다.
• FN-Br WebTool와의 통합을 통해 기존 FrameNet 워크플로우 및 데이터베이스와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 어떻게 FrameNet 주석을 정적 이미지 및 영상과 같은 시각적 모odal로 확장할 수 있는가?
• RQ2 다중모달 데이터에 FrameNet 의미론을 효율적으로 인간 중심의 주석으로 적용하기 위해 어떤 기술적 및 인터페이스 설계 선택이 필요한가?
• RQ3 텍스트에 명시적으로 언급되지 않았더라도, 어떻게 시각적 자료에서 의미적으로 유의미하게 프레임 요소를 주석화할 수 있는가?
• RQ4 프레임 및 프레임 요소 수준에서 텍스트 주석과 시각적 주석을 정렬하는 데 발생하는 실질적 과제는 무엇인가?
• RQ5 어떻게 FrameNet 기반 주석 파이프라인을 활용하여 다중모달 데이터셋을 체계적으로 구축할 수 있는가?

주요 결과

• Charon는 정적 이미지와 영상 시퀀스에 모두 FrameNet 프레임과 프레임 요소를 성공적으로 주석화하여 텍스트와 시각적 모달 간의 의미론적 일치를 달성한다.
• 프레임 요소의 null 인스턴스화 기능을 통해, 텍스트에는 언급되지 않았지만 시각적으로 존재하는 프레임 요소를 주석으로 기록할 수 있어 의미론적 풍부함이 향상된다.
• 컴퓨터 비전 레이블(CV Names)과 FrameNet 주석의 통합은 시각적 자료에서 객체 인식과 의미론적 기반을 향상시킨다.
• Charon를 사용하여 두 가지 새로운 데이터셋을 제작하였다: Framed Multi 30k는 Flickr30K Entities 데이터셋에 브라질 포르투갈어 및 영어-포르투갈어 설명 155,070개를 추가하였고, Frame 2는 여행 TV 시리즈에서 유래한 12,200개의 텍스트 및 5,000개의 이미지 주석 세트를 포함한다.
• 도구는 FN-Br WebTool와의 호환성을 입증하여 기존 FrameNet 워크플로우 및 글로벌 FrameNet 주석 활동과의 원활한 통합이 가능하다.
• Charon의 아키텍처는 확장 가능한 대규모 다중모달 데이터 주석을 지원하며, 향후 기계 비전 모델의 메타데이터 통합 계획이 수립되어 있다.