[論文レビュー] Classification of Goods Using Text Descriptions With Sentences Retrieval

Eunji Lee, Sundong Kim+9 more|arXiv (Cornell University)|Nov 2, 2021

Law, logistics, and international trade参考文献 19被引用数 8

ひとこと要約

本論文では、KoELECTRAに基づく深層学習モデルを提案し、関税コード（HSコード）の分類を支援する。このモデルは、HS規則書から関連する文を検索し、それらを用いて階層的分類（4桁の見出しと6桁の細目）を改善する。129,084件の過去事例において、トップ3の正確度が95.5%に達し、支援文書や類似事例を提示することで解釈可能性を向上させ、分類に要する時間を顕著に短縮した。

ABSTRACT

The task of assigning and validating internationally accepted commodity code (HS code) to traded goods is one of the critical functions at the customs office. This decision is crucial to importers and exporters, as it determines the tariff rate. However, similar to court decisions made by judges, the task can be non-trivial even for experienced customs officers. The current paper proposes a deep learning model to assist this seemingly challenging HS code classification. Together with Korea Customs Service, we built a decision model based on KoELECTRA that suggests the most likely heading and subheadings (i.e., the first four and six digits) of the HS code. Evaluation on 129,084 past cases shows that the top-3 suggestions made by our model have an accuracy of 95.5% in classifying 265 subheadings. This promising result implies algorithms may reduce the time and effort taken by customs officers substantially by assisting the HS code classification task.

研究の動機と目的

• eコマースの取引量の増加に伴い、複雑で多様な商品が増加する中、関税コード分類にかかる時間と労力の削減を目的とする。
• 関税率に直接影響を与える関税コードの割り当ての正確性と一貫性を向上させ、不一致が生じると国際的紛争を引き起こすおそれがあるため。
• HS規則書からの関連文の検索と支援文書、類似事例の提供により、AIによる意思決定の解釈可能性を高める。
• 申告者と関税当局の両者を支援する意思決定支援システムを提供し、根拠を添えた妥当なHSコードの提案を行う。
• 特に複雑で誤差率の高い分野として知られる第85章（電気機器）における階層的分類の課題に取り組む。

提案手法

• モデルはまず、商品の説明文を用いて微調整されたKoELECTRAモデルにより、4桁のHSコード見出しを予測する。
• その後、商品の説明文と類似する意味的特徴に基づき、密な検索技術（dense retrieval）を用いてHS規則書から最も関連性の高いキーワード文を抽出する。
• 6桁の細目（サブヘディング）の予測には、商品の説明文と検索されたHS規則書の文を統合した入力を、階層的分類ヘッドに供給する。
• 予測の信頼性を向上させるために、トップk予測の信頼度スコアに温度スケーリングを適用する。
• 出力テンプレートは、トップ3の見出し・細目候補に加え、検索された文と類似過去事例を含む形式で生成され、文脈的根拠を提供する。
• フレームワークは、人間の専門家が用いるGRI（一般解釈規則）に基づく推論プロセスを模倣し、AIの意思決定を法的・解釈的基準と整合させる。

実験結果

リサーチクエスチョン

• RQ1 HS規則書からのテキスト検索を活用した深層学習モデルは、関税当局のための階層的HSコード分類の正確度を向上させることができるか？
• RQ2 検索されたHS規則書の文の統合は、モデルの解釈可能性と意思決定根拠の強化にどの程度効果的か？
• RQ3 実世界の関税分類タスクにおいて、既存のソリューションと比較して、このモデルの性能はどの程度高いか？
• RQ4 高信頼度で説明可能なHSコードの提案が、関税当局の作業負荷を軽減できるか？
• RQ5 特に第85章（電気機器）のような複雑で曖昧な商品分類カテゴリに対して、モデルはどの程度汎用性を示すか？

主な発見

• 本モデルは、129,084件の過去事例における265の細目を分類する際、トップ3の正確度が95.5%に達し、実世界の関税データにおいて優れた性能を示した。
• eコマース商品分類コンテストの優勝ソリューションを上回る性能を示し、複雑な分類タスクにおける堅牢性を裏付けた。
• 韓国関税庁における内部評価では、非公開の11件の意思決定事例においてトップ3正確度が82%に達し、実用的価値を実証した。
• HS規則書から検索された文は、専門家が提示した根拠と一致する確率が、再現率と適合率の両方で0.75に達し、極めて関連性の高いものであった。
• モデルの出力形式（信頼度スコア、検索文、類似事例を含む）は、専門家の報告書に類似しており、信頼性と利用可能性を高めた。
• GRIとHS規則書を活用した文脈的論理とルールベース推論の統合により、純粋にパターンに依存する深層学習モデルと比較して、モデルの信頼性が向上した。