[논문 리뷰] DAST Model: Deciding About Semantic Complexity of a Text

MohammadReza Besharati, Mohammad Izadi|arXiv (Cornell University)|2019. 08. 24.

Advanced Text Analysis Techniques참고 문헌 59인용 수 8

한 줄 요약

이 논문은 자연어 텍스트의 의미 복잡도를 측정하기 위한 형식적이고 래티스 기반의 DAST 모델(텍스트의 의미 복잡도 결정)을 소개한다. 이 모델은 인ту이셔니즘 의미론에 기반한 집합론적 6-튜플 체계를 사용하며, 인간 평가 실험에서 무작위 기준보다 뛰어난 성능을 보이며, 기존 방법들과도 경쟁적으로 작동한다. 또한 인간의 의미 추론에 뒤배인 마르코프 성질이 있음을 드러낸다.

ABSTRACT

Measuring text complexity is an essential task in several fields and applications (such as NLP, semantic web, smart education, etc.). The semantic layer of text is more tacit than its syntactic structure and, as a result, calculation of semantic complexity is more difficult than syntactic complexity. While there are famous and powerful academic and commercial syntactic complexity measures, the problem of measuring semantic complexity is still a challenging one. In this paper, we introduce the DAST model, which stands for Deciding About Semantic Complexity of a Text. DAST proposes an intuitionistic approach to semantics that lets us have a well-defined model for the semantics of a text and its complexity: semantic is considered as a lattice of intuitions and, as a result, semantic complexity is defined as the result of a calculation on this lattice. A set theoretic formal definition of semantic complexity, as a 6-tuple formal system, is provided. By using this formal system, a method for measuring semantic complexity is presented. The evaluation of the proposed approach is done by a set of three human-judgment experiments. The results show that DAST model is capable of deciding about semantic complexity of text. Furthermore, the analysis of the results leads us to introduce a Markovian model for the process of common-sense, multiple-steps and semantic-complexity reasoning in people. The results of Experiments demonstrate that our method outperforms the random baseline with improvement in better precision and competes with other methods by less error percentage.

연구 동기 및 목표

• 의미 복잡도를 측정하기 위한 강력하고 형식적인 방법의 부족을 해결하기 위해, 문장의 의미 복잡도는 문법적 복잡도보다 더 복잡하다는 점을 고려한다.
• 의미의 암묵적이고 직관적인 측면을 포괄하는 잘 정의된, 수학적으로 기반을 둔 의미 복잡도 모델을 개발한다.
• 통제된 인간 평가 실험을 통해 모델의 효과성을 평가한다.
• 특히 다단계 또는 일반 지식 기반 추론에서 인간의 의미 복잡도에 대한 사고 패턴을 밝혀내는 것.

제안 방법

• DAST 모델은 집합론과 인ту이셔니즘 논리에 기반한 형식적인 6-튜플 체계로 의미 복잡도를 정의한다.
• 의미는 직관의 래티스로 표현되며, 복잡도는 래티스 내부의 구조적 관계에서 유래된다.
• 모델은 이 래티스 위에서 대수적 연산을 수행하여 의미 복잡도를 계산하며, 개념 간의 의미 통합 방식을 형식화한다.
• 실험 데이터로부터 인간 추론의 마르코프 모델을 추론하여 단계적 의미 추론 과정을 모델링한다.
• 모델의 예측을 인간이 인식한 의미 복잡도와 비교하기 위해 인간 평가 실험을 수행한다.
• 무작위 기준 및 다른 접근법과의 비교를 위해 정밀도와 오류 비율 지표를 사용해 방법을 평가한다.

실험 결과

연구 질문

• RQ1 형식적이고 인투이셔니즘 래티스 기반의 모델이 자연어 텍스트의 의미 복잡도를 효과적으로 표현하고 측정할 수 있는가?
• RQ2 DAST 모델이 예측한 의미 복잡도는 인간이 애너테이션한 복잡도 평가와 얼마나 관련이 있는가?
• RQ3 DAST 모델의 성능은 의미 복잡도 예측 과제에서 무작위 기준을 초월하는가?
• RQ4 특히 다단계 또는 일반 지식 기반 추론에서 인간의 의미 복잡도에 대한 사고 패턴은 무엇인가?
• RQ5 DAST 모델은 실험적 검증을 통해 인간의 의미 추론에 체계적인 패턴을 드러낼 수 있는가?

주요 결과

• DAST 모델은 의미 복잡도 예측에서 무작위 기준보다 유의미하게 뛰어난 성능을 보이며, 정밀도가 향상되고 오류 비율이 낮아진다.
• 다양한 실험 설정에서 모델의 예측이 인간이 애너테이션한 의미 복잡도 평가와 강력한 일치를 보인다.
• 인간의 반응 분석을 통해 의미 추론에 마르코프 성질이 있음을 확인하였으며, 일반 지식 이해에서 단계적이고 확률적인 추론이 일어남을 시사한다.
• 형식적인 6-튜플 체계는 의미 복잡도를 잘 정의된, 수학적으로 일관된 프레임워크를 제공하며 재현 가능한 계산을 지원한다.
• 기존 방법들과의 경쟁에서도 효과적으로 경쟁하며, 의미 복잡도 추정에서 경쟁적인 오류 비율을 보였다.