[논문 리뷰] A Map of Knowledge.

Zachary A. Pardos, Andrew Nam|arXiv (Cornell University)|2018. 11. 19.

Topic Modeling참고 문헌 1인용 수 5

한 줄 요약

이 논문은 학생 수강 패턴을 기반으로 대학 강의의 벡터 표현을 학습하여 행동 데이터에서 도메인 지식을 추출하는 방법을 제안한다. 수강 행동에서 유도된 지식 지도를 사용하여, 카탈로그 설명보다 더 높은 의미적 정밀도로 88%의 강의 속성과 40%의 관계적 유사성 유추를 복원한다. 이는 행동 데이터가 풍부하고 해석 가능한 지식 구조를 드러낼 수 있음을 보여준다.

ABSTRACT

Knowledge representation has gained in relevance as data from the ubiquitous digitization of behaviors amass and academia and industry seek methods to understand and reason about the information they encode. Success in this pursuit has emerged with data from natural language, where skip-grams and other linear connectionist models of distributed representation have surfaced scrutable relational structures which have also served as artifacts of anthropological interest. Natural language is, however, only a fraction of the big data deluge. Here we show that latent semantic structure, comprised of elements from digital records of our interactions, can be informed by behavioral data and that domain knowledge can be extracted from this structure through visualization and a novel mapping of the literal descriptions of elements onto this behaviorally informed representation. We use the course enrollment behaviors of 124,000 students at a public university to learn vector representations of its courses. From these behaviorally informed representations, a notable 88% of course attribute information were recovered (e.g., department and division), as well as 40% of course relationships constructed from prior domain knowledge and evaluated by analogy (e.g., Math 1B is to Math H1B as Physics 7B is to Physics H7B). To aid in interpretation of the learned structure, we create a semantic interpolation, translating course vectors to a bag-of-words of their respective catalog descriptions. We find that the representations learned from enrollments resolved course vectors to a level of semantic fidelity exceeding that of their catalog descriptions, depicting a vector space of high conceptual rationality. We end with a discussion of the possible mechanisms by which this knowledge structure may be informed and its implications for data science.

연구 동기 및 목표

• 학생 수강 수강 행동 데이터가 학문 지식의 의미 있고 해석 가능한 표현을 학습하는 기초가 될 수 있는지 탐색하기.
• 수강 패턴에서 유도된 잠재적 의미적 구조가 도메인 특화 강의 속성과 관계를 복원할 수 있는지 조사하기.
• 강의의 자연어 기술서에 대응하는 맵핑을 통해 추상적인 벡터 표현을 해석하는 방법 개발하기.
• 기존 텍스트 기반 기술서와 비교하여 행동 기반의 벡터 공간이 가지는 의미적 합리성과 정밀도 평가하기.

제안 방법

• 학생 수강 패턴을 행동 신호로 사용하여 대학 강의의 조밀한 벡터 표현을 학습하기.
• 공동 등장 패턴을 모델링하기 위해 스킵그램 스타일 모델을 적용하여 분산 표현 생성하기.
• 공강 벡터를 공식 카탈로그 기술서의 워드백 표현에 매핑하여 의미적 보간 수행하기.
• 속성 복원(예: 학과, 학부) 및 유추 기반 추론 작업을 통해 학습된 표현의 품질 평가하기.
• 결과로 도출된 벡터 공간을 시각화하여 강의의 개념적 구조와 관계의 일관성 해석하기.
• 이전 도메인 지식을 기반으로 학습된 표현을 활용해 강의 간 관계를 재구성하고, 어휘 유추 작업을 통해 평가하기.

실험 결과

연구 질문

• RQ1 수강 수강 행동 데이터를 활용해 학문 지식 내 의미적 및 관계적 구조를 반영하는 벡터 표현을 학습할 수 있는가?
• RQ2 이러한 행동 기반의 표현이 학과, 학부와 같은 알려진 강의 속성을 어느 정도 복원할 수 있는가?
• RQ3 강의 순서를 포함한 어휘 유추 작업을 통해 학습된 표현이 관계 기반 추론을 얼마나 잘 지원하는가?
• RQ4 행동 기반으로 학습된 벡터의 의미적 정밀도는 강의 카탈로그의 텍스트 기술서와 비교해 어떻게 되는가?
• RQ5 원시 수강 행동에서 합리적이고 해석 가능한 지식 구조가 어떻게 탄생하는가에 대한 메커니즘은 무엇인가?

주요 결과

• 행동 기반의 벡터 표현에서 88%의 강의 속성 정보(예: 학과, 학부)를 성공적으로 복원하였다.
• 유추 기반 추론 작업에서 40%의 성공률을 기록하여, 고급 강의와 일반 강의 간의 관계를 예측하는 데 성공하였다.
• 의미적 보간 방법을 통해 강의 벡터를 자연어 기술서에 매핑한 결과, 원본 카탈로그 텍스트보다 더 높은 개념적 합리성을 드러내었다.
• 수강 행동에서 유도된 벡터 공간은 강의 의미를 잘 포착하는 강력한 의미적 정밀도를 보였으며, 카탈로그 기술서보다 뛰어난 성능을 보였다.
• 학습된 구조의 시각화 결과, 학문 도메인 지식과 일치하는 일관된 클러스터와 관계 패턴이 드러났다.
• 결과적으로 행동 데이터만으로도 명시적 텍스트 주석에 의존하지 않고도 해석 가능하고 지식이 풍부한 표현을 생성할 수 있음을 시사한다.