[논문 리뷰] Why is constrained neural language generation particularly challenging?

Cristina Gârbacea, Qiaozhu Mei|arXiv (Cornell University)|2022. 06. 11.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 제약된 신경 언어 생성(NLG)의 核심 과제를 규명하고 분석하며, 입력에 대한 조건(condition)과 출력에 대한 제약(constraint)을 구분하고, 모델 표현력의 한계, 미분 가능하지 않은 제약, 평가 메트릭의 취약성, 벤치마크 데이터셋의 부족함과 같은 주요 장애물을 강조한다. 이 논문은 제약된 NLG를 위한 공식적 프레임워크를 제안하며, 표현력, 평가, 강건성 향상을 위한 추가 연구를 촉구하여 안전하고 제어 가능하며 효과적인 텍스트 생성 시스템의 발전을 이끌고자 한다.

ABSTRACT

Recent advances in deep neural language models combined with the capacity of large scale datasets have accelerated the development of natural language generation systems that produce fluent and coherent texts (to various degrees of success) in a multitude of tasks and application contexts. However, controlling the output of these models for desired user and task needs is still an open challenge. This is crucial not only to customizing the content and style of the generated language, but also to their safe and reliable deployment in the real world. We present an extensive survey on the emerging topic of constrained neural language generation in which we formally define and categorize the problems of natural language generation by distinguishing between conditions and constraints (the latter being testable conditions on the output text instead of the input), present constrained text generation tasks, and review existing methods and evaluation metrics for constrained text generation. Our aim is to highlight recent progress and trends in this emerging field, informing on the most promising directions and limitations towards advancing the state-of-the-art of constrained neural language generation research.

연구 동기 및 목표

• 신경 텍스트 생성에서 조건(입력 기반)과 제약(출력 기반)의 차이를 명확히 하여 문헌 내의 모호함을 해결하는 것.
• 효율적인 제약된 신경 언어 생성을 방해하는 핵심 과제들—모델 표현력, 최적화 난이도, 평가 한계—를 규명하고 체계화하는 것.
• 제약 텍스트 생성을 위한 기존 방법, 아키텍처, 평가 메트릭을 조사하며, 그들의 한계와 격차를 부각하는 것.
• 모델 표현력 향상, 강건한 평가 메트릭 개발, 제약 생성을 위한 다양하고 대표성 있는 벤치마크 데이터셋 구축에 초점을 맞춘 연구를 촉구하는 것.
• 실제 응용 분야에서 더 안전하고 제어 가능하며 신뢰할 수 있는 신경 텍스트 생성 시스템을 구축하기 위해 향후 연구를 이끌어내는 것.

제안 방법

• 논문은 출력 텍스트에 대한 검증 가능한 조건인 제약(constraint)—즉, 출력 텍스트에 대한 테스트 가능한 조건—과 입력에 대한 검증 가능한 조건(condition)을 구분함으로써 제약된 신경 언어 생성을 공식적으로 정의한다.
• 제약 유형에 따라 제약된 텍스트 생성 작업을 분류하며, 이는 어휘적, 문법적, 형식적, 감성, 스타일 제약 등을 포함한다.
• 기존의 신경 생성 방법을 조사하며, 디코딩 기반 접근법(예: 제약된 디코딩, 제약 조건이 포함된 빔 서치), 피팅 튜닝, 강화 학습을 포함하고, 복잡한 제약를 처리하는 데서의 한계를 분석한다.
• 현재 평가 관행을 평가하며 자동화된 메트릭의 단점을 규명하고, 제약 충족도에 특화된 인간 평가 및 벤치마크 데이터셋의 필요성을 주장한다.
• 입력에 독립적인 트리거를 악용하는 적대적 공격이 언어 모델에 치명적인 영향을 미칠 수 있으며, 특히 제약 위반의 원인이 되므로 이는 중요한 과제로 다루어진다.
• 연구 방법론은 최근 문헌을 종합적으로 검토하며, 제약 생성 분야에서 반복적으로 나타나는 기술적·방법론적 한계를 규명하는 데 중점을 둔다.

실험 결과

연구 질문

• RQ1 왜 제약된 신경 언어 생성은 무조건적 또는 조건부 생성보다 더 어렵게 작용하는가?
• RQ2 출력 텍스트에 대한 검증 가능한 조건으로 정의된 제약—즉, 출력 텍스트에 대한 테스트 가능한 조건—는 신경 언어 생성에서 입력에 대한 조건과 어떻게 공식적으로 구분될 수 있는가?
• RQ3 어떤 제약 조건이든 신경 언어 모델 학습 목표 함수에 통합하는 데 있어 주요 기술적 장벽은 무엇인가?
• RQ4 특히 유창성과 통일성과 함께 고려할 때, 생성된 텍스트가 주어진 제약 조건을 얼마나 잘 충족하는지 평가하는 것이 왜 어려운가?
• RQ5 현재 데이터셋, 평가 메트릭, 모델 아키텍처에서 제약된 언어 생성을 발전시키는 데 있어 핵심적인 한계는 무엇인가?

주요 결과

• 제약된 신경 언어 생성은 학습 목표 함수에 임의의 제약 조건을 통합하는 데 있어 모델 표현력의 부족으로 인해 특히 어렵다.
• 많은 제약, 특히 토큰 수준의 제약는 비미분 가능하므로 기울기 기반 학습 방법의 최적화를 어렵게 한다.
• 기존의 텍스트 생성 평가 메트릭은 제약 충족도를 강건하게 측정하지 못하며, 인간 평가는 여전히 금표지만 제약 설정 환경에서는 활용도가 낮다.
• 제약된 텍스트 생성을 위한 다양하고 대표성 있으며 현실적인 벤치마크 데이터셋의 부재는 모델 개발과 비교를 제한한다.
• 입력에 독립적인 트리거를 악용하는 적대적 공격은 편향되거나 해로운 출력을 유도할 수 있어, 제약된 생성 모델의 강건성 확보가 절실하다.
• 현재 접근법은 어휘적, 문법적, 감성, 스타일 제약 등 다양한 종류의 제약 조건을 동시에 효과적으로 통합하는 데 어려움을 겪는다.