[논문 리뷰] Developing a comprehensive framework for multimodal feature extraction

Quinten McNamara, Alejandro de la Vega외 1명|arXiv (Cornell University)|2017. 02. 20.

Topic Modeling참고 문헌 18인용 수 7

한 줄 요약

이 논문은 비디오, 오디오, 이미지 및 텍스트 간의 다중모odal 특징 추출을 통일되고 확장 가능한 API를 사용해 표준화하는 오픈소스 파이썬 프레임워크인 pliers를 소개한다. speech-to-text, 얼굴 검출, 감성 분석 등의 다양한 특징 추출 도구를 단일의 그래프 기반 파이프라인에 원활하게 통합할 수 있도록 함으로써 pliers는 개발 시간을 크게 단축시키고 코드 유지보수성을 향상시켰으며, 이는 자연주의 자극을 포함한 수천 개의 자극에 대한 가설 검증을 가속화한 기능적 MRI 연구에서 입증되었다.

ABSTRACT

Feature extraction is a critical component of many applied data science workflows. In recent years, rapid advances in artificial intelligence and machine learning have led to an explosion of feature extraction tools and services that allow data scientists to cheaply and effectively annotate their data along a vast array of dimensions---ranging from detecting faces in images to analyzing the sentiment expressed in coherent text. Unfortunately, the proliferation of powerful feature extraction services has been mirrored by a corresponding expansion in the number of distinct interfaces to feature extraction services. In a world where nearly every new service has its own API, documentation, and/or client library, data scientists who need to combine diverse features obtained from multiple sources are often forced to write and maintain ever more elaborate feature extraction pipelines. To address this challenge, we introduce a new open-source framework for comprehensive multimodal feature extraction. Pliers is an open-source Python package that supports standardized annotation of diverse data types (video, images, audio, and text), and is expressly with both ease-of-use and extensibility in mind. Users can apply a wide range of pre-existing feature extraction tools to their data in just a few lines of Python code, and can also easily add their own custom extractors by writing modular classes. A graph-based API enables rapid development of complex feature extraction pipelines that output results in a single, standardized format. We describe the package's architecture, detail its major advantages over previous feature extraction toolboxes, and use a sample application to a large functional MRI dataset to illustrate how pliers can significantly reduce the time and effort required to construct sophisticated feature extraction workflows while increasing code clarity and maintainability.

연구 동기 및 목표

• 특정 제3자 도구들에 대한 API의 분산 문제를 해결하기 위해, 데이터 과학자들이 다양한 외부 도구들에 대해 일관되지 않은 인터페이스를 마주하는 문제를 해결하기 위해.
• 다양한 모odal리티와 서비스에서 온 데이터를 통합하는 특징 추출 파이프라인을 구축하고 유지보수하는 데 소요되는 시간과 복잡성을 줄이기 위해.
• 다양한 특징 추출 도구에 표준화되고 확장 가능한 인터페이스를 제공하여 데이터 과학 워크플로우에서 코드의 명확성, 유지보수성, 재사용성을 향상시키기 위해.
• 자연주의 자극에서 특징 추출을 자동화하여 신경영상 및 기타 분야에서 빠르고 재현 가능한 가설 검증을 가능하게 하기 위해.
• 단일 파이프라인 내에서 모듈러하고 사용자 정의 가능한 추출기와 동적 데이터 유형 변환(예: 오디오에서 텍스트로)을 지원함으로써 확장성을 높이기 위해.

제안 방법

• Plies는 각 노드가 특징 추출기이며 간선이 모odal 간 데이터 흐름을 나타내는 그래프 기반 API를 사용하여 복잡한 특징 추출 파이프라인을 구성한다.
• 프레임워크는 Google Cloud Vision, IBM Watson, Clarifai와 같은 클라우드 기반 서비스를 포함한 수백 가지 외부 도구에 대해 통일된 인터페이스를 제공함으로써 기반 API의 차이를 추상화한다.
• 내장된 변환기(트랜스포머)를 통해 오디오를 텍스트로 변환하는 것과 같은 동적 데이터 유형 변환을 지원한다.
• 사용자는 최소한의 코드(예: 파이썬 몇 줄)로 기존의 추출기를 적용할 수 있으며, 커스텀 기능을 추가하기 위해 기본 Extractor 클래스를 상속하여 시스템을 확장할 수 있다.
• 특히 비용이 많이 들거나 호출에 소요되는 API에 대해 성능 최적화를 위해 지연 평가와 캐싱을 활용한다.
• 외부 API의 변화에 대응하기 위해 지속적 통합(Travis-CI)을 사용하여 역호환성의 유지와 모니터링을 수행한다.

실험 결과

연구 질문

• RQ1 표준화된 프레임워크는 여러 제3자 특징 추출 API를 통합하는 데서 발생하는 복잡성과 유지보수 부담을 어떻게 줄일 수 있는가?
• RQ2 통합된 다중모달 특징 추출 파이프라인이 데이터 과학 워크플로우에서 코드의 명확성과 재사용성에 얼마나 기여하는가?
• RQ3 자동화된 고속도 특징 추출은 자연주의 자극을 포함한 대규모 신경영상 연구에서 가설 검증을 얼마나 빠르게 가속화할 수 있는가?
• RQ4 단일이고 일관된 파이프라인 내에서 동적 데이터 유형 변환(예: 오디오에서 텍스트로)을 얼마나 효과적으로 처리할 수 있는가?
• RQ5 고수준 특징 추출 프레임워크에서 추상화와 성능 또는 세밀한 제어 간의 상호 교환 관계는 어떠한가?

주요 결과

• Plies는 기능적 MRI 데이터셋의 1,000여 개의 영화 클립에서 100개 이상의 다양한 특징을 빠르게 추출하는 데 성공하여 파이프라인 개발 시간을 크게 단축시켰다.
• 프레임워크는 Google Cloud Vision, IBM Watson, Clarifai를 포함한 20개 이상의 외부 도구를 일관되고 표준화된 출력 형식으로 성공적으로 통합했다.
• 신경영상 사례 연구에서 pliers는 특정 의미적 특징(예: '외부' 또는 '말하기')과 연관된 뇌 활성 패턴을 식별하는 데 기여했다. 이는 알려진 신경해부학적 연관성을 재현하였다.
• pliers의 사용은 연구자가 자극의 내용과 뇌 반응 간의 새로운 가설을 확장 가능하고 자동화되며 재현 가능한 방식으로 테스트할 수 있도록 했다.
• 抽象화로 인한 성능 손실가 일부 존재했지만, 자동 테스트와 고비용 연산의 캐싱을 통해 높은 신뢰성을 유지했다.
• 시스템은 사용자가 간단한 클래스 상속과 구성만으로 새로운 추출기를 추가할 수 있도록 강력한 확장성을 보였다.