[논문 리뷰] Report of 2017 NSF Workshop on Multimedia Challenges, Opportunities and Research Roadmaps

Shih‐Fu Chang, Alexander G. Hauptmann외 19명|arXiv (Cornell University)|2019. 08. 06.

Video Analysis and Summarization참고 문헌 89인용 수 4

한 줄 요약

이 논문은 2017년 NSF 워크숍의 결과를 요약한 것으로, 향후 15년간의 멀티미디어 및 다중모odal 시스템 분야의 핵심 과제, 기회 및 장기 연구 로드맵을 규명했다. 전문가의 공감대 형성과 체계적인 세션 토론을 통해, 다중모달 이해, AI 통합, 윤리적 AI, 확장 가능한 멀티미디어 시스템 등의 분야에서 전략적 방향성을 제시하였으며, 5년, 10년, 15년 단위의 실행 가능한 로드맵을 수립하였다.

ABSTRACT

With the transformative technologies and the rapidly changing global R&D landscape, the multimedia and multimodal community is now faced with many new opportunities and uncertainties. With the open source dissemination platform and pervasive computing resources, new research results are being discovered at an unprecedented pace. In addition, the rapid exchange and influence of ideas across traditional discipline boundaries have made the emphasis on multimedia multimodal research even more important than before. To seize these opportunities and respond to the challenges, we have organized a workshop to specifically address and brainstorm the challenges, opportunities, and research roadmaps for MM research. The two-day workshop, held on March 30 and 31, 2017 in Washington DC, was sponsored by the Information and Intelligent Systems Division of the National Science Foundation of the United States. Twenty-three (23) invited participants were asked to review and identify research areas in the MM field that are most important over the next 10-15 year timeframe. Important topics were selected through discussion and consensus, and then discussed in depth in breakout groups. Breakout groups reported initial discussion results to the whole group, who continued with further extensive deliberation. For each identified topic, a summary was produced after the workshop to describe the main findings, including the state of the art, challenges, and research roadmaps planned for the next 5, 10, and 15 years in the identified area.

연구 동기 및 목표

• 향후 10~15년간 멀티미디어 및 다중모달 시스템 분야에서 가장 핵심적인 연구 과제와 기회를 규명하고 우선순위를 정하기.
• AI, 인간-컴퓨터 상호작용, 신호 처리 등 다양한 분야의 선도적 전문가들을 융합함으로써 다학제적 협업을 촉진하기.
• 5년, 10년, 15년 단위의 구체적 목표를 포함한 실행 가능한 장기 연구 로드맵을 개발하여 핵심 멀티미디어 연구 분야의 발전을 이끌기.
• 기존 학제적 경계를 초월한 오픈소스 플랫폼, 광범위한 컴퓨팅 환경, 빠른 기술 혁신 등에서 발생하는 새로운 과제를 다루기.
• 국립 과학재단(National Science Foundation)과 멀티미디어 시스템 분야의 연구 공동체가 향후 연구 투자와 자금 지원을 유도하기

제안 방법

• 다양한 멀티미디어 및 다중모달 연구 배경을 가진 23명의 초청 전문가들이 참석한 워싱턴 D.C.에서의 2일간 전문가 워크숍을 조직하였다.
• 공동결론 도출 기반의 논의를 통해 구조화된 세션 토론을 실시하여 핵심 연구 분야를 논의하고 우선순위를 정하였다.
• 그룹 토론 결과를 수집하고 종합하여 각 식별된 주제에 대한 상세한 요약을 작성하였다.
• 각 주제에 대해 종합적인 연구 로드맵을 제작하였으며, 최신 기술 동향 분석, 열린 과제, 5년, 10년, 15년 단계별 목표를 포함하였다.
• AI, 자연어 처리, 컴퓨터 비전, 인간 중심 컴퓨팅 간의 다학제적 통합을 강조하여 대화를 촉진하였다.
• 연구자와 자금 지원 기관의 전략적 참고자료로 활용할 수 있도록 장문의 보고서(arXiv:1908.02308)를 작성하였다.

실험 결과

연구 질문

• RQ1 향후 15년간 멀티미디어 및 다중모달 시스템 분야에서 가장 핵심적인 연구 과제와 기회는 무엇인가?
• RQ2 다학제적 협업은 차세대 멀티미디어 시스템 개발을 어떻게 향상시킬 수 있는가?
• RQ3 실제 환경에 배포하기 위한 확장 가능한 멀티미디어 AI 시스템을 구축할 때의 주요 기술적 및 사회적 과제는 무엇인가?
• RQ4 다중모달 이해 및 추론과 같은 核심 멀티미디어 기능을 향상시키기 위해 필요한 장기 연구 로드맵(5년, 10년, 15년)은 무엇인가?
• RQ5 윤리적, 개인정보 보호 및 설명 가능한 AI 원칙은 미래 멀티미디어 시스템 설계에 어떻게 통합될 수 있는가?

주요 결과

• 워크숍은 다중모달 표현 학습, 인간 중심 멀티미디어 시스템, 멀티미디어 분야의 윤리적 AI 등 다수의 고영향력 연구 분야를 규명하였다.
• 다양한 모odal과 실제 환경에서 작동할 수 있는 확장 가능하고 설명 가능하며 견고한 멀티미디어 AI 시스템에 대한 수요가 증가하고 있다.
• AI, 인간-컴퓨터 상호작용, 인지과학 간의 다학제적 협업은 다중모달 이해 및 상호작용 발전에 필수적이다.
• 각 주제에 대해 5년, 10년, 15년 단위의 장기 연구 로드맵이 수립되었으며, 특정 목표와 연구 방향이 명시되었다.
• 멀티미디어 시스템에 윤리적 고려사항, 공정성, 투명성을 통합하는 것이 핵심 연구 우선순위로 규명되었다.
• 이 보고서는 향후 NSF 자금 지원 및 학술 연구를 이끄는 기초 전략 문서로 기능한다.