[논문 리뷰] Thinking Aloud: Dynamic Context Generation Improves Zero-Shot Reasoning Performance of GPT-2

Gregor Betz, Kyle Richardson외 1명|arXiv (Cornell University)|2021. 03. 24.

Topic Modeling참고 문헌 46인용 수 16

한 줄 요약

이 논문은 GPT-2가 실시간으로 자신의 추론 맥락을 자가 생성함으로써 자기 자신만의 제로샷 추론 성능을 향상시키는 동적 문제 구체화(dynamic problem elaboration)를 제안한다. 자기 생성된 의미적으로 일관된 구체화로 입력 맥락을 확장함으로써, 이 모델은 연역적 추론 작업에서 정확도를 최대 24% 향상시켰으며, 이 효과는 구체화의 일관성과 문제 특성에 따라 달라진다.

ABSTRACT

Thinking aloud is an effective meta-cognitive strategy human reasoners apply to solve difficult problems. We suggest to improve the reasoning ability of pre-trained neural language models in a similar way, namely by expanding a task's context with problem elaborations that are dynamically generated by the language model itself. Our main result is that dynamic problem elaboration significantly improves the zero-shot performance of GPT-2 in a deductive reasoning and natural language inference task: While the model uses a syntactic heuristic for predicting an answer, it is capable (to some degree) of generating reasoned additional context which facilitates the successful application of its heuristic. We explore different ways of generating elaborations, including fewshot learning, and find that their relative performance varies with the specific problem characteristics (such as problem difficulty). Moreover, the effectiveness of an elaboration can be explained in terms of the degree to which the elaboration semantically coheres with the corresponding problem. In particular, elaborations that are most faithful to the original problem description may boost accuracy by up to 24%.

연구 동기 및 목표

• 동적 문제 구체화—언어 모델이 스스로 추론 맥락을 생성하는 방식—가 제로샷 추론 성능을 향상시키는지 조사하는 것.
• 자기 생성된 구체화가 연역적 추론 과정에서 GPT-2의 문법 힌트에 기인한 편향을 완화할 수 있는지 평가하는 것.
• 다양한 구체화 전략(자유형, 흩어진 예시형, 조각별)이 문제 특성에 따라 성능에 어떤 영향을 미치는지 분석하는 것.
• 구체화와 원본 문제 간의 의미적 일관성이 추론 정확도 향상 여부를 예측할 수 있는지 분석하는 것.
• 피팅 트레이닝 없이도 자가 생성된 맥락을 통해 추론 능력을 자동으로 강화할 수 있는지 탐색하는 것.

제안 방법

• 자기 반영적 설정에서 GPT-2를 사용해 문제 구체화를 동적으로 생성: 모델이 답변하기 전에 맥락을 생성함.
• 세 가지 구체화 유형 사용: 자유형(구조 없는 생성), 흩어진 예시형(맥락 내 예시 포함), 조각별형(조각화되고 작업에 특화된 질의).
• 동일한 GPT-2 모델에 구체화된 맥락을 입력으로 사용해 ChainRuler 데이터셋에서 제로샷 추론 수행.
• 다중호프 자연어 추론 및 연역적 추론 과제에서 예/아니요 답변을 기반으로 성능 측정.
• 기본값(구체화 없음) 대비 정확도 향상과 원본 문제와의 일관성으로 구체화 효과 평가.
• 오라클 기반 평가를 통해 구체화의 의미적 충실도가 미치는 영향을 분리하여 평가함.

실험 결과

연구 질문

• RQ1 동적 문제 구체화가 GPT-2의 연역적 추론 과제에서 제로샷 추론 성능을 유의미하게 향상시킬 수 있는가?
• RQ2 자유형, 흩어진 예시형, 조각별형 등 다양한 구체화 전략의 효과가 문제 난이도와 구조에 따라 어떻게 달라지는가?
• RQ3 구체화와 원본 문제 간의 의미적 일관성이 성능 향상 여부를 예측하는 데 얼마나 중요한가?
• RQ4 문제 서술에 否정문이 포함되어 있을 경우 특정 구체화 유형의 유용성이 어떻게 영향을 받는가?
• RQ5 자기 생성된 구체화가 GPT-2의 문법 힌트에 기인한 체계적 편향을 줄일 수 있는가?

주요 결과

• 동적 문제 구체화로 GPT-2의 제로샷 추론 정확도가 ChainRuler 데이터셋에서 최대 24% 향상되었으며, 가장 정확도가 높은 조각별 구체화가 가장 높은 성과를 냈다.
• 특히 원본 문제와 의미적으로 충실한 가장 일관성 있는 구체화가, 구체화 없을 경우 대비 정확도를 24% 향상시켰다.
• 부정문이 없는 문제에서는 흩어진 예시형 구체화가 뛰어난 성능을 보였지만, 모든 문제 유형에서 다른 방법을 항상 능가하지는 않았다.
• 다양한 구체화 유형은 서로 다른 문제 특성에서 뛰어난 성능을 보이며, 이는 효과성이 맥락에 따라 달라진다는 것을 시사한다.
• 구체화의 반복은 결함이 아니며, 반복된 문장은 모델의 자신감을 나타내고 추론 단계를 강화함으로써 성능 향상에 기여할 수 있다.
• 모델의 기본 동작 방식은 추론 오류를 유발하는 문법 힌트에 기반하며, 이에 대해 구체화가 완화 효과를 미친다.