[论文解读] Classification of Goods Using Text Descriptions With Sentences Retrieval

Eunji Lee, Sundong Kim+9 more|arXiv (Cornell University)|Nov 2, 2021

Law, logistics, and international trade参考文献 19被引用 8

一句话总结

本文提出了一种基于KoELECTRA的深度学习模型，通过从HS手册中检索相关句子，并利用这些句子改进对章节（4位）和子目（6位）的层级分类，协助海关官员将商品分类至HS编码。该模型在129,084宗历史案例中实现了95.5%的top-3准确率，显著缩短了分类时间，并通过提供支持性事实和相似案例增强了可解释性。

ABSTRACT

The task of assigning and validating internationally accepted commodity code (HS code) to traded goods is one of the critical functions at the customs office. This decision is crucial to importers and exporters, as it determines the tariff rate. However, similar to court decisions made by judges, the task can be non-trivial even for experienced customs officers. The current paper proposes a deep learning model to assist this seemingly challenging HS code classification. Together with Korea Customs Service, we built a decision model based on KoELECTRA that suggests the most likely heading and subheadings (i.e., the first four and six digits) of the HS code. Evaluation on 129,084 past cases shows that the top-3 suggestions made by our model have an accuracy of 95.5% in classifying 265 subheadings. This promising result implies algorithms may reduce the time and effort taken by customs officers substantially by assisting the HS code classification task.

研究动机与目标

• 为减少海关官员在商品分类中所耗费的时间与精力，因应日益复杂的商品种类和电商交易量的上升，当前工作负荷持续增加。
• 提高HS编码分配的准确率与一致性，因为这直接影响关税税率，若不一致可能引发国际争端。
• 通过从HS手册中检索相关语句并提供支持性事实与相似案例，增强AI决策的可解释性。
• 通过提供带有理由的HS编码建议，同时支持申报人与海关官员，构建决策支持系统。
• 解决第85章（电气设备）中层级分类的挑战，该章节以复杂性高、错误率高著称。

提出的方法

• 首先，利用微调后的KoELECTRA模型，基于产品描述预测4位HS编码的章节。
• 然后，利用密集检索技术，基于与产品描述的语义相似度，从HS手册中检索最相关的关键句子。
• 在子目（6位）预测阶段，将产品描述与检索到的HS手册句子结合，作为层次分类头的输入。
• 通过温度缩放对top-k预测的置信度分数进行校准，提升人类审核时的可靠性。
• 生成包含top-3章节与子目候选、检索到的句子以及相似历史案例的输出模板，以提供上下文支持的解释。
• 该框架模仿人类专家使用的GRI推理流程，使AI决策与法律及解释性标准保持一致。

实验结果

研究问题

• RQ1 基于HS手册文本检索的深度学习模型，能否提升海关官员在HS编码层级分类中的准确性？
• RQ2 检索到的HS手册句子在增强模型可解释性与决策解释力方面的有效性如何？
• RQ3 该模型在真实海关分类任务中与现有解决方案相比，性能表现如何？
• RQ4 该模型能否通过提供高置信度、可解释的HS编码建议，减轻海关官员的工作负担？
• RQ5 该模型在复杂且模糊的产品类别（如第85章电气设备）中的泛化能力如何？

主要发现

• 该模型在129,084宗历史案例中对265种子目进行分类，实现了95.5%的top-3准确率，表明其在真实海关数据上的强大性能。
• 该模型优于某电商商品分类挑战赛的优胜方案，表明其在复杂分类任务中的鲁棒性。
• 在韩国海关署的内部评估中，该模型在11个未公开的决策案例中实现了82%的top-3准确率，验证了其实际应用价值。
• 检索到的HS手册句子与专家提供的理由匹配度高，其召回率与精确率均为0.75。
• 该模型的输出格式（包括置信度分数、检索句子和相似案例）与专家报告高度相似，增强了可信度与可用性。
• 通过整合上下文逻辑与基于规则的推理（通过GRI与HS手册实现），该模型相比纯基于模式的深度学习模型更具可信度。