[论文解读] Constructing Hierarchical Q&A Datasets for Video Story Understanding

Yu‐Jung Heo, Kyoung-Woon On+6 more|arXiv (Cornell University)|Apr 1, 2019

Multimodal Machine Learning Applications参考文献 26被引用 5

一句话总结

本文提出了一种基于记忆容量、逻辑复杂度和DIKW（数据-信息-知识-智慧）金字塔三个标准的分层框架，用于构建视频问答（Q&A）数据集，从而实现对视频故事理解的系统性评估。该方法将问题映射到皮亚杰理论中的发展阶段，将机器智能水平与人类认知发展阶段相联系，并提供一种结构化、可扩展的度量方法，用于评估视频Q&A的难度以及超越表面基准的模型智能水平。

ABSTRACT

Video understanding is emerging as a new paradigm for studying human-like AI. Question-and-Answering (Q&A) is used as a general benchmark to measure the level of intelligence for video understanding. While several previous studies have suggested datasets for video Q&A tasks, they did not really incorporate story-level understanding, resulting in highly-biased and lack of variance in degree of question difficulty. In this paper, we propose a hierarchical method for building Q&A datasets, i.e. hierarchical difficulty levels. We introduce three criteria for video story understanding, i.e. memory capacity, logical complexity, and DIKW (Data-Information-Knowledge-Wisdom) pyramid. We discuss how three-dimensional map constructed from these criteria can be used as a metric for evaluating the levels of intelligence relating to video story understanding.

研究动机与目标

• 为解决现有视频Q&A数据集中缺乏多样性与偏差的问题，这些数据集往往无法捕捉真正的故事级理解。
• 开发一种系统性、分层的方法，用于分类视频故事理解中问题的难度，超越表面的事实性查询。
• 将视频Q&A的复杂度与人类认知发展阶段（如皮亚杰的阶段）联系起来，以提供更可解释且具有发展性的机器智能度量标准。
• 为构建高质量、可扩展的视频Q&A数据集提供理论与实践框架，实现难度水平的可控性。

提出的方法

• 定义问题难度的三个核心标准：记忆容量（支持事实的数量）、逻辑复杂度（因果推理，例如“为什么”类问题）以及DIKW层级（从数据到智慧）。
• 根据每个问题在三个标准中的层级，将其映射到一个三维分层空间中的坐标（例如，记忆、逻辑和DIKW层级分别为{3, 2, 1}）。
• 基于三个标准，将每个问题分配到皮亚杰理论中对应的最高发展阶段，参考Collis的阶段分类标准。
• 利用生成的三维地图，可视化并分类问题的认知复杂度，从而实现系统性的数据集构建与评估。
• 通过认知科学视角解释该框架，将每个标准与人类认知发展的特定阶段联系起来（例如，只有在形式运算阶段才能提出智慧水平的问题）。
• 将该框架用作度量标准，评估机器在视频故事理解中的智能水平，指导数据集设计与模型评估。

实验结果

研究问题

• RQ1 如何系统性地对视频Q&A问题难度进行分类，而不仅仅是基于简单的事实回忆？
• RQ2 DIKW层级、记忆容量和逻辑复杂度在多大程度上可作为独立但互补的维度，用于分类视频故事情节理解任务？
• RQ3 所提出的标准与既有的人类认知发展阶段（特别是皮亚杰的五个阶段）在多大程度上保持一致？
• RQ4 能否构建一个反映认知复杂度与发展进程的三维分层问题难度地图？
• RQ5 该框架如何指导构建无偏见、可扩展的视频Q&A数据集，以用于衡量人类水平的人工智能？

主要发现

• 所提出的三个标准——记忆容量、逻辑复杂度和DIKW层级——能够实现对视频Q&A问题难度的结构化、多维分类。
• 每个标准均对应皮亚杰认知发展理论中的特定阶段：数据级对应第一阶段（前运算阶段），信息级对应第三阶段（中期具体运算），知识级对应第四阶段（具体概括阶段），智慧级对应第五阶段（形式运算阶段）。
• 需要多个独立事实（第二级）或依赖时间顺序的推理（第三级）的问题仅在第三阶段及以后才可行，表明推理能力存在发展进程。
• 问题所被分配的最高发展阶水平由最具认知挑战性的标准决定，从而实现问题到发展水平的统一映射。
• 由三个标准构建的三维分层地图，为评估机器在视频故事理解中的智能水平提供了可扩展且可解释的框架。
• 该框架为未来设计难度可控、偏差减少的视频Q&A数据集提供了理论与实践基础，使其与人类认知发展的里程碑保持一致。