[논문 리뷰] MIS: Multimodal Interaction Services in a cloud perspective

Patrizia Grifoni, Fernando Ferri외 3명|arXiv (Cornell University)|2017. 04. 04.

Speech and dialogue systems참고 문헌 20인용 수 6

한 줄 요약

이 논문은 I/O 처리 및 추론을 클라우드로 이관하여 인간-기계 상호작용의 자연스러움과 확장성을 향상시키는 클라우드 기반 서비스 지향 아키텍처(SOA)를 제안한다. 클라우드의 유연성과 SOA 원칙을 활용함으로써, 다양한 사용자 시나리오와 기기에서 적응형이며 맥락 인식 가능한 다중모odal 상호작용을 가능하게 한다.

ABSTRACT

The Web is becoming more and more a wide software framework on which each one can compose and use contents, software applications and services. It can offer adequate computational resources to manage the complexity implied by the use of the five senses when involved in human machine interaction. The core of the paper describes how SOA (Service Oriented Architecture) can support multimodal interaction by pushing the I/O processing and reasoning to the cloud, improving naturalness. The benefits of cloud computing for multimodal interaction have been identified by emphasizing the flexibility and scalability of a SOA, and its characteristics to provide a more holistic view of interaction according to the variety of situations and users.

연구 동기 및 목표

• 클라우드 컴퓨팅 자원을 활용하여 다중모달 인간-기계 상호작용의 점점 증가하는 복잡성을 해결하기 위해.
• I/O 및 추론 작업을 클라우드로 이관하여 상호작용의 자연스러움과 적응성을 향상시키기 위해.
• 서비스 지향적 확장성으로 통합적이고 사용자 및 맥락에 민감한 상호작용 모델을 구현하기 위해.
• SOA 및 클라우드 인프라가 실시간으로 다양한 다중모달 입력/출력 모odal을 지원할 수 있는 방법을 보여주기 위해.
• 이질적인 기기와 환경에서 다중모달 서비스를 배포하기 위한 유연하고 확장 가능한 프레임워크를 제공하기 위해.

제안 방법

• 로컬 기기에서 다중모달 상호작용 컴포넌트를 분리하기 위해 클라우드 네이티브 서비스 지향 아키텍처(SOA)를 설계하기 위해.
• 스케일링을 향상시키기 위해 중앙 집중식 클라우드 서비스로 다중모달 I/O 처리 및 추론(예: 음성, 제스처, 시각)을 이관하기 위해.
• 서비스 지향 원칙을 활용하여 상호작용 서비스를 모듈화하고, 응용 프로그램 간 동적 조합 및 재사용을 가능하게 하기 위해.
• 클라우드에서 표준화된 웹 서비스 인터페이스를 통해 다양한 모달리티(예: 음성, 터치, 제스처)를 통합하기 위해.
• 상호작용 부하 및 복잡성에 따라 계산 자원을 동적으로 확장할 수 있도록 클라우드의 유연성 활용하기 위해.
• 클라우드 스토리지 및 API를 통해 사용자 프로파일, 환경 데이터, 상호작용 이력에 서비스가 액세스할 수 있도록 맥락 인식 적응 지원하기 위해.

실험 결과

연구 질문

• RQ1 클라우드 기반 SOA는 다중모달 상호작용 시스템의 확장성과 유연성을 어떻게 향상시키는가?
• RQ2 I/O 및 추론을 클라우드로 이관함으로써 인간-기계 상호작용의 자연스러움은 어떻게 향상되는가?
• RQ3 서비스 지향 모델은 통합된 프레임워크 내에서 다양한 사용자 맥락과 상호작용 모달리티를 어떻게 지원하는가?
• RQ4 분산된 클라우드 환경에서 실시간으로 적응 가능한 다중모달 상호작용을 가능하게 하는 아키텍처 패턴은 무엇인가?
• RQ5 제안된 프레임워크는 입력 모달리티와 사용자 기기의 이질성은 어떻게 처리하는가?

주요 결과

• 클라우드 기반 SOA 모델은 다중모달 처리의 동적 및 즉시 대응 가능한 확장을 가능하게 하여, 변동하는 부하 상황에서 시스템 반응성을 향상시킨다.
• 복잡한 추론 및 다중모달 융합을 클라우드로 이관함으로써 인간-기계 상호작용의 자연스러움과 정확도가 향상된다.
• 서비스 지향적 접근은 표준화되고 조합 가능한 인터페이스를 통해 다양한 모달리티(예: 음성, 제스처, 터치)의 원활한 통합을 지원한다.
• 서비스 간 사용자 맥락, 기기 기능, 환경 데이터를 통합함으로써 아키텍처가 상호작용에 대한 통합적 시각을 제공한다.
• 단일 모듈형 로컬 상호작용 시스템에 비해 유지보수성과 확장성이 향상됨을 입증하였다.
• 기존 웹 서비스 표준 및 클라우드 인프라와의 통합을 통해 실제 환경에서의 구현 가능성을 입증하였다.