[논문 리뷰] Reasoning about Procedures with Natural Language Processing: A Tutorial

Li Zhang|arXiv (Cornell University)|2022. 05. 16.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 튜토리얼은 자연어 처리(NLP) 연구에서 절차적 이해에 중점을 두어, 목표 지향적 단계의 순서인 절차를 수집하고 표현하며 추론하는 방법에 대한 종합적인 개요를 제시한다. 인간이 주석 처리한 데이터와 웹에서 추출한 데이터를 모두 활용한다. 절차적 표현, 학습, 실제 응용 분야의 발전을 강조하며, 목표, 단계, 시간적 의존성의 구조적 모델링을 통해, 요리법 및 지침 데이터셋에서 유래한 핵심 통찰이 더 넓은 절차적 추론 작업으로 일반화됨을 설명한다.

ABSTRACT

This tutorial provides a comprehensive and in-depth view of the research on procedures, primarily in Natural Language Processing. A procedure is a sequence of steps intended to achieve some goal. Understanding procedures in natural language has a long history, with recent breakthroughs made possible by advances in technology. First, we discuss established approaches to collect procedures, by human annotation or extraction from web resources. Then, we examine different angles from which procedures can be reasoned about, as well as ways to represent them. Finally, we enumerate scenarios where procedural knowledge can be applied to the real world.

연구 동기 및 목표

• 목표 지향적 단계 순서에 대한 추론에서 발생하는 고유한 과제와 기회를 강조하면서, 절차적 이해에 관한 NLP 연구에 대한 체계적인 개요 제공.
• 인간 주석 처리와 웹 스케일 추출을 통해 절차적 데이터가 어떻게 수집되는지 분석하고, 절차 지식에 대한 확장 가능한 연구를 가능하게 하는 방법 탐구.
• 지식 그래프, 계층적 행동 분해, 다양한 절차적 텍스트 간 동일한 동작의 정렬을 통한 절차 표현 방법 연구.
• 가상 비서, 추천 엔진, 자동 계획 시스템과 같은 실제 시스템에서 절차 지식의 실용적 응용 탐색.
• 스크립트나 레시피와 같은 유사한 개념과 절차를 비교하여 그 차이점을 명확히 하고, 요리 중심 연구에서 도출된 통찰이 더 넓은 절차적 추론 작업으로 일반화되는 정도 분석.

제안 방법

• 요리법, How-to 가이드, 지침 영상 등을 포함한 절차적 텍스트를 인간 주석 처리 및 웹에서 추출한 데이터셋을 활용해 수집.
• 그래프 기반 표현을 사용하여 절차를 모델링하며, 노드는 실체(재료, 도구, 동작)를 나타내고, 간선은 적용, 부분집합, 등가성 등의 의미 관계를 나타낸다.
• 고수준 동작을 하위 단계로 분해하기 위해 계층적 분해 기법을 적용하고, 영상 캡션의 커뮤니티 기반 설명을 활용해 세분화된 절차적 기술을 생성.
• 모델이 절차에서 누락된 단계를 예측할 수 있는 능력을 평가하기 위해 클로즈 스타일 작업을 활용하여, 새로운 절차적 시퀀스에 대해 제로샷 또는 소수 샷 일반화 가능.
• 지침어의 언어적 및 의미적 특징에 기반해, 동일한 요리법을 위한 두 개의 다른 절차적 텍스트 간에 동일한 동작을 식별하기 위해 정렬 기반 방법을 활용.
• 대규모 언어 모델과 NLP 도구를 활용해 절차적 사건에서 시간적, 인과적, 조건부 의존성을 분석하며, 특히 목표 조건부 추론 맥락에서의 특성 탐구.

실험 결과

연구 질문

• RQ1 웹 자원과 인간 주석 처리를 활용해 절차 지식을 어떻게 스케일링하여 효과적으로 수집할 수 있는가?
• RQ2 목표, 단계, 상호의존성 등을 포괄하는 구조적이고 기계가 처리할 수 있는 형식으로 절차 지식을 표현하는 데 가장 효과적인 방법은 무엇인가?
• RQ3 요리 이해에 대해 개발된 방법들이 요리 외의 절차적 추론으로 일반화될 수 있는 정도는 어느 정도인가?
• RQ4 절차 내 시간적 및 조건부 관계가 기본적인 목표에 어떻게 의존하는가? 모델은 이러한 목표 조건부 의존성을 어떻게 학습할 수 있는가?
• RQ5 다중 에이전트, 복잡하거나 실패 가능성이 있는 절차를 모델링할 때의 주요 과제는 무엇이며, NLP 시스템에서 이를 어떻게 해결할 수 있는가?

주요 결과

• 2012년에서 2021년 사이에 '사건' 주제에 관한 NLP 논문 수가 3배로 증가했으며, 이는 이벤트 중심 NLP에 대한 관심 증가를 반영한다. 특히 목표 지향적 구조를 지닌 절차가 중요한 하위 유형으로 부각되고 있다.
• 절차적 추론은 의도와 맥락을 더 깊이 이해할 수 있도록 하며, 예를 들어 동작 순서와 목표 맥락에 따라 '집에 들어가는 것'과 '나가는 것'을 구분할 수 있도록 한다.
• 행동, 도구, 재료를 노드로, 관계를 간선으로 하는 그래프 기반 절차 표현 방식은 절차적 의미를 효과적으로 모델링하고 다양한 도메인 간 일반화에 기여한다.
• HowTo100M와 같은 데이터셋에서 보여진 바와 같이, 행동의 계층적 분해 기법은 세분화된 절차적 모델링을 가능하게 하고, 절차 예측 작업에서 제로샷 일반화 성능을 향상시킨다.
• 요리 중심 NLP 방법 중 행동 정렬 및 클로즈 스타일 예측은 지침어의 공통된 언어적 및 구조적 패턴 덕분에 요리 외 절차로도 이식 가능하다.
• 요리 중심 연구의 성공에도 불구하고 일반 절차는 다수의 에이전트, 다양한 실체, 조건부 논리 등 더 큰 복잡성을 지닌다. 이는 직접적인 이식을 제한하며, 더 넓은 범위의 절차적 모델링 프레임워크의 필요성을 강조한다.