[논문 리뷰] TeachPro: Multi-Label Qualitative Teaching Evaluation via Cross-View Graph Synergy and Semantic Anchored Evidence Encoding

Xiangqian Wang, Yonghong Jia외 4명|arXiv (Cornell University)|2026. 01. 14.

Intelligent Tutoring Systems and Adaptive Learning인용 수 0

한 줄 요약

TeachPro는 학생 가르침 평가를 다중 라벨의 다섯 차원 평가로 재구성하고, 교차 뷰 그래프 네트워크, 차원 고정 증거 인코딩, 그리고 매개변수 효율적인 예측 헤드를 사용하며, 새로운 전문가 주석 데이터셋에서 검증된다.

ABSTRACT

Standardized Student Evaluation of Teaching often suffer from low reliability, restricted response options, and response distortion. Existing machine learning methods that mine open-ended comments usually reduce feedback to binary sentiment, which overlooks concrete concerns such as content clarity, feedback timeliness, and instructor demeanor, and provides limited guidance for instructional improvement.We propose TeachPro, a multi-label learning framework that systematically assesses five key teaching dimensions: professional expertise, instructional behavior, pedagogical efficacy, classroom experience, and other performance metrics. We first propose a Dimension-Anchored Evidence Encoder, which integrates three core components: (i) a pre-trained text encoder that transforms qualitative feedback annotations into contextualized embeddings; (ii) a prompt module that represents five teaching dimensions as learnable semantic anchors; and (iii) a cross-attention mechanism that aligns evidence with pedagogical dimensions within a structured semantic space. We then propose a Cross-View Graph Synergy Network to represent student comments. This network comprises two components: (i) a Syntactic Branch that extracts explicit grammatical dependencies from parse trees, and (ii) a Semantic Branch that models latent conceptual relations derived from BERT-based similarity graphs. BiAffine fusion module aligns syntactic and semantic units, while a differential regularizer disentangles embeddings to encourage complementary representations. Finally, a cross-attention mechanism bridges the dimension-anchored evidence with the multi-view comment representations. We also contribute a novel benchmark dataset featuring expert qualitative annotations and multi-label scores. Extensive experiments demonstrate that TeachPro offers superior diagnostic granularity and robustness across diverse evaluation settings.

연구 동기 및 목표

• SET을 이진 감정에서 다섯 가지 교수 측면에 걸친 다차원 다중 클래스 평가로 재정의한다.
• 차원 고정 증거 인코더를 사용하여 차원별 증거로 정성적 피드백을 뒷받침한다.
• 주석의 구문적 정보와 의미 정보를 교차 뷰 그래프 시너지 네트워크를 통해 포착한다.
• 다중 라벨 출력에 대한 매개변수 효율적이고 확장 가능한 예측 헤드를 제공한다.
• 차원 수준 평가 및 증거 근거를 위한 전문가 주석이 달린 벤치마크 데이터셋을 도입한다.

제안 방법

• 다섯 가지 교수 차원을 학습 가능한 의미 앵커에 매핑하고 교차 어텐션을 사용하여 증거를 근거화하는 차원 고정 증거 인코더.
• 주석의 문법적 및 의미적 관계를 모델링하기 위해 구문 분기(SynGCN)와 의미 분기(SemGCN)를 갖춘 교차 뷰 그래프 시너지 네트워크.
• 구문 및 의미 표현을 정렬하기 위한 BiAffine 교차 뷰 융합과 임베딩을 분리하기 위한 차등 정규화.
• 리뷰 스니펫과 차원 프롬프트를 정렬하기 위한 차원 단어 인코딩 단계의 프로토타입 가이드 상호작용.
• 공유 프로젝션과 차원별 교란을 갖춘 저랭크 적응(LoRA) 스타일의 매개변수 효율적인 다차원 평가 헤드.
• 다섯 가지 차원에 걸친 공동 감독 손실을 통한 엔드투엔드 학습.

실험 결과

연구 질문

• RQ1 학생의 코멘트를 단일 감정 라벨이 아닌 다섯 가지 교육적으로 근거 있는 차원으로 어떻게 매핑할 수 있는가?
• RQ2 차원 고정 증거가 개방형 피드백을 특정 교수 측면에 효과적으로 근거화할 수 있는가?
• RQ3 구문적 및 의미적 이중 그래프 표현이 단일 뷰 모델에 비해 해석 가능성과 정확도를 향상시키는가?
• RQ4 매개변수 효율적인 헤드가 성능 저하 없이 정확한 다차원 예측을 수행할 수 있는가?
• RQ5 제안된 TeachScope 데이터셋이 차원 전반에 걸친 견고하고 세밀한 평가 및 증거 근거를 뒷받침하는가?

주요 결과

• TeachPro는 다섯 가지 교수 차원에 걸친 미세한 다중 라벨 예측을 달성한다.
• 차원 고정 증거 인코더가 텍스트 구간과 교수 차원 간의 해석 가능한 연결을 제공한다.
• BiAffine 융합을 갖춘 이중 분기 그래프(SynGCN 및 SemGCN)가 구문과 의미를 결합하여 표현을 개선한다.
• 저랭크의 매개변수 효율적 예측 헤드가 모델 복잡도를 줄이면서 성능을 유지한다.
• TeachScope는 ABSA 스타일 교육 연구를 뒷받침하기 위해 증거 구간이 포함된 전문가 주석의 다차원 데이터를 제공한다.