[논문 리뷰] Generating Dialogue Agents via Automated Planning

Adi Botea, Christian Muise외 10명|arXiv (Cornell University)|2019. 02. 02.

Speech and dialogue systems참고 문헌 15인용 수 7

한 줄 요약

이 논문은 도메인 독립적 인공지능 계획 기법을 활용하여 사용자 목표에 맞는 맞춤형 대화 에이전트를 자동으로 생성하는 계획 수립 방법을 제안한다. 원자적 대화 동작 라이브러리, 초기 상태, 목표를 사용하여 외부 서비스 호출을 통합하고 비결정적 사용자 반응을 처리하는 다단계 대화 계획을 자동으로 합성하며, 인사 및 경력 컨설팅 응용 분야에서 성공적으로 구현되었다.

ABSTRACT

Dialogue systems have many applications such as customer support or question answering. Typically they have been limited to shallow single turn interactions. However more advanced applications such as career coaching or planning a trip require a much more complex multi-turn dialogue. Current limitations of conversational systems have made it difficult to support applications that require personalization, customization and context dependent interactions. We tackle this challenging problem by using domain-independent AI planning to automatically create dialogue plans, customized to guide a dialogue towards achieving a given goal. The input includes a library of atomic dialogue actions, an initial state of the dialogue, and a goal. Dialogue plans are plugged into a dialogue system capable to orchestrate their execution. Use cases demonstrate the viability of the approach. Our work on dialogue planning has been integrated into a product, and it is in the process of being deployed into another.

연구 동기 및 목표

• 기존 대화 시스템이 고정된 대화 트리나 예측 불가능한 기계 학습 모델에 의존하는 한계를 해결하기 위해.
• HR 및 경력 컨설팅과 같은 도메인에서 복잡한 다단계 상호작용을 위한 확장 가능하고 유지보수 용이하며 예측 가능한 대화 에이전트를 만들 수 있도록 하기 위해.
• 사용자 선택과 외부 서비스 결과에 따라 적응할 수 있는 동적이고 맥락 민감한 대화를 지원하기 위해.
• 동작나 목표가 변경될 경우에도 수동 재설계 및 유지보수의 노력을 줄이고 자동 재생성 기능을 제공함으로써 대화 계획 설계 및 유지를 간소화하기 위해.
• 검증된 타당성과 확장 가능성을 갖춘 실제 제품에 대화 계획을 통합하기 위해.

제안 방법

• 도메인 독립적 자동 계획을 사용하여 원자적 대화 동작 라이브러리, 초기 상태, 목표 상태로부터 대화 계획을 생성한다.
• 전제 조건과 영향을 갖는 비결정적 플루언트로 대화 동작을 모델링하며, '선택'(여러 결과 중 하나)과 '할당'(동시 맥락 업데이트)을 포함한다.
• 사용자 반응의 불확실성을 처리하고 다수의 가능한 결과를 고려한 계획을 수립하기 위해 완전 관측 비결정성 계획(Fully Observable Non-Deterministic Planning, FOND)을 활용한다.
• 대화 동작 내부에 외부 서비스 호출을 통합하며, 입력과 출력을 주석 처리하여 맥락 인식 실행을 지원한다.
• 제어 가능한 플루언트, 동작, 목표 구조를 갖는 합성 대화 시나리오를 생성하는 무작위 문제 생성기를 통해 계획을 생성한다.
• 비결정성을 고려한 정적 계획을 사용하여 액션 시퀀스를 조율하고 이4차원을 모니터링하는 대화 시스템을 통해 계획을 실행한다.

실험 결과

연구 질문

• RQ1 자동 계획 기법을 활용하여 다단계이고 맥락 민감한 상호작용을 지원하는 복잡한 목표 지향 대화 계획을 효과적으로 생성할 수 있는가?
• RQ2 비결정적 사용자 반응을 처리하면서도 계획의 예측 가능성과 정확성을 유지할 수 있도록 대화 시스템을 어떻게 설계할 수 있는가?
• RQ3 동일한 대화 동작 라이브러리가 다양한 도메인과 시나리오 간에 얼마나 재사용 가능한가?
• RQ4 생성된 대화 계획의 크기가 기반 모델 크기와 비교하여 어떻게 되는가? 이는 확장 가능성에 어떤 함의를 갖는가?
• RQ5 이러한 계획 기반 대화 에이전트가 신뢰성과 유지보수성 요구 사항을 충족하는 실제 응용 분야에 성공적으로 구현될 수 있는가?

주요 결과

• 이 방법은 확장 가능하고 유지보수 용이한 대화 계획을 성공적으로 생성하였으며, 솔루션 크기가 종종 모델 크기의 4배에서 16배 정도 큰 것으로 나타나 효율적인 압축 표현 방식임을 시사한다.
• FOND 계획 기법을 사용함으로써 실행 중 동적 재계획이 필요 없이도 비결정성에 대한 강력한 대처가 가능하다.
• 시스템은 실제 HR 제품에 통합되었으며, 경력 컨설팅 응용 분야에도 도입되고 있어 실용적 타당성을 입증하였다.
• 무작위로 생성된 합성 대화 문제들은 실제 대화 계획과 구조적 유사성을 보이며, 기대되는 계획 길이와 동작 유형이 알려진 패턴과 일치한다.
• 동작나 목표가 수정될 경우에도 대화 계획의 수동 재작업 필요성이 크게 감소하여 유지보수성 향상에 기여한다.
• 이 방법은 외부 서비스 호출과 예외 처리를 포함한 동적이고 다단계 대화를 지원하여 복잡하고 개인화된 상호작용을 가능하게 한다.