[논문 리뷰] Report from the NSF Future Directions Workshop, Toward User-Oriented Agents: Research Directions and Challenges

Maxine Eskénazi, Tiancheng Zhao|arXiv (Cornell University)|2020. 06. 10.

Topic Modeling참고 문헌 134인용 수 6

한 줄 요약

이 논문은 지능형 에이전트에 대한 사용자 중심의 연구 의제를 제안하며, 에이전트의 능력에서 사용자 수요, 만족도, 윤리적 정당성으로 초점을 이동시킨다. 다학제적 연구, 개인정보 보호 기반 데이터 방법, 대비 공격에 대한 강건성, 표준화된 평가 체계를 통해 실제 응용에서 신뢰할 수 있고, 적응력 있으며, 안전한 에이전트를 확보할 것을 주장한다.

ABSTRACT

This USER Workshop was convened with the goal of defining future research directions for the burgeoning intelligent agent research community and to communicate them to the National Science Foundation. It took place in Pittsburgh Pennsylvania on October 24 and 25, 2019 and was sponsored by National Science Foundation Grant Number IIS-1934222. Any opinions, findings and conclusions or future directions expressed in this document are those of the authors and do not necessarily reflect the views of the National Science Foundation. The 27 participants presented their individual research interests and their personal research goals. In the breakout sessions that followed, the participants defined the main research areas within the domain of intelligent agents and they discussed the major future directions that the research in each area of this domain should take

연구 동기 및 목표

• 에이전트 성능과 실제 사용자 만족도 사이의 간극이 커지는 문제를 해결하기 위해 연구 초점을 에이전트 중심의 지표에서 사용자 결과로 전환한다.
• 1990년대 음성인식 기술의 붕괴와 같은 과거의 AI 자금 지원 위기를 반복 방지하기 위해 윤리적, 투명하고 신뢰할 수 있는 에이전트 행동을 통해 사용자 신뢰를 확보한다.
• 재현 가능성을 지원하는 연구 인프라를 구축하기 위해 오픈소스 도구, 공동 과제, 표준화된 평가 플랫폼을 포함한다.
• 에이전트가 악성 행동(예: 모욕적 언어, 편향 등)을 탐지할 수 있도록 공격에 강건하고, 이를 방지할 수 있도록 한다.
• 제안서, 학생 교육, 대중 홍보에 필수적인 윤리적 고려사항을 포함하여 연구 분야의 윤리 기준을 수립한다.

제안 방법

• 에이전트의 출력 품질을 평가하는 데서 벗어나, 실시간 대화 환경에서 사용자 만족도와 인지된 유용성을 평가하는 방식으로 평가 기준을 전환한다.
• 에이전트의 품질을 공식적으로 인증하기 위해 '운전면허' 개념을 도입한다—배포 이전에 통합적이고 표준화된 평가 프레임워크를 제공한다.
• 정보 손실을 최소화하면서도 민감한 데이터(음성, 텍스트, 시각 정보)를 익명화하는 개인정보 보호 알고리즘을 개발한다.
• 모욕적 언어, 오락성, 편향과 같은 부적절한 에이전트 행동을 탐지하고 완화하기 위한 강력한 탐지 시스템을 구축한다.
• 특히 마이크로소프트의 Tay와 같은 지속적 학습 시스템에서 사용자 공격에 강건한 내재적 복원력을 갖춘 에이전트를 설계한다.
• 공동 연구 플랫폼과 데이터 시트를 포함한 오픈 데이터를 통해 대화 연구의 투명성과 재현 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 지능형 에이전트 연구는 어떻게 사용자 만족도와 인지된 유용성에 중점을 두며, 에이전트가 생성한 출력 품질보다 우선시할 수 있는가?
• RQ2 배포된 에이전트의 신뢰성과 안전성을 보장하기 위해 어떤 표준화된 평가 프레임워크가 필요한가?
• RQ3 다중모odal 및 음성 기반 시스템에서 모델의 유용성을 훼손하지 않으면서도 개인정보를 어떻게 보존할 수 있는가?
• RQ4 실시간으로 편향, 오락성, 모욕적 언어와 같은 해로운 에이전트 행동을 탐지하고 방지할 수 있는 방법은 무엇인가?
• RQ5 실제 상호작용 데이터의 이점을 얻으면서도, 악성 사용자 입력에 강건한 에이전트는 어떻게 설계할 수 있는가?

주요 결과

• BLEU와 같은 기존 평가 지표는 실제 대화 성공률나 사용자 만족도와 상관관계가 없어, 에이전트 평가의 심각한 결함을 드러낸다.
• 2016년 마이크로소프트의 Tay 사례—16시간 만에 악성 사용자 입력으로 인해 중단된 사례—는 학습 기반 에이전트에 대한 대비 공격에 대한 강건성이 절실한 필요성을 보여준다.
• 모의 사용자나 급여를 받은 사용자가 실제 사용자 행동을 신뢰성 있게 반영하지 못해, 대화 시스템 평가의 타당성을 떨어뜨린다.
• 제안서와 학생 교육에 필수적인 윤리적 고려사항을 포함한 윤리적 연구 관행의 필요성이 점점 커지고 있다.
• 공동 과제와 문서화된 미리 학습된 모델을 포함한 표준화되고, 오픈된, 재사용 가능한 연구 인프라는 재현 가능성과 진전을 위해 필수적이다.
• '운전면허' 개념—통합적이고 다각도적인 평가—는 공개 배포 이전에 안전성과 신뢰성을 보장하기 위해 개발되어야 한다.