[논문 리뷰] A Measure Based Generalizable Approach to Understandability

Vikas Kushwaha, Sruti Srinivasa Ragavan외 1명|ArXiv.org|2025. 03. 27.

Complex Systems and Decision Making인용 수 7

한 줄 요약

인지과학에 기초하고 도메인에 구애받지 않는 이해가능성 프레임워크를 6개 차원으로 제시하여 사람-에이전트 커뮤니케이션과 조정 가능성을 이끈다.

ABSTRACT

Successful agent-human partnerships require that any agent generated information is understandable to the human, and that the human can easily steer the agent towards a goal. Such effective communication requires the agent to develop a finer-level notion of what is understandable to the human. State-of-the-art agents, including LLMs, lack this detailed notion of understandability because they only capture average human sensibilities from the training data, and therefore afford limited steerability (e.g., requiring non-trivial prompt engineering). In this paper, instead of only relying on data, we argue for developing generalizable, domain-agnostic measures of understandability that can be used as directives for these agents. Existing research on understandability measures is fragmented, we survey various such efforts across domains, and lay a cognitive-science-rooted groundwork for more coherent and domain-agnostic research investigations in future.

연구 동기 및 목표

• 데이터 기반 편향을 넘어 도메인에 구애받지 않는 이해가능성 측정의 필요성을 제시한다.
• 이해가능성을 여섯 개의 인지 차원 기반 범주로 정리한다.
• 도메인 전반의 기존 측정치를 조사하고 이를 제안된 차원에 매핑한다.
• 에이전트 안내를 위한 일반화 가능하고 구현 가능한 측정 체계의 기초를 마련한다.

제안 방법

• 이해가능성의 여섯 가지 차원: 지각적 이점(perceptual advantage), 기억 비용(memory cost), 패턴 해독 가능성(pattern decodability), 응집성(cohesion), 논리적 일관성(logical consistency), 의미적 적합성(semantic fit)을 제안한다.
• 인지 아키텍처와 이해 모델을 검토하여 차원을 정당화한다.
• 도메인 특화 측정치(예: 텍스트/코드 복잡도, cohesion)를 기본 인지 구성요소와 연결한다.
• 이 차원들이 에이전트를 위한 최적화 지시로 어떻게 사용될 수 있는지 개요를 제시한다.
• 인지 심리학에 뿌리를 둔 일반화 가능하고 도메인에 구애받지 않는 측정의 가능성을 논의한다.

실험 결과

연구 질문

• RQ1 텍스트, 코드, UI와 같은 산물 전반에 걸쳐 인간의 이해가능성을 뒷받침하는 기본적인 인지 차원은 무엇인가?
• RQ2 도메인 특화 이해가능성 측정치를 인지 심리학 원리를 사용해 일반화할 수 있는가?
• RQ3 이 여섯 가지 차원을 에이전트 스티어링 및 최적화에 통합하기 위한 향후 경로는 무엇인가?

주요 결과

• 도메인 간 이해가능성 측정의 분절된 구성이 존재한다; 통일된 6차원 프레임워크가 제안된다.
• 여섯 차원은 인지 처리의 단계에 매핑되며 정보 산물 전반에 걸쳐 일반화될 수 있다.
• 에이전트의 조정 가능성과 이해가능성을 향상시키기 위한 최적화 지시로 이 차원을 사용할 잠재력이 있다.
• 이 프레임워크는 인지 심리에 뿌리를 둔 간결하고 설명적이며 잠재적으로 예측 가능한 이론을 제공한다.